HDFS介绍HDFS是一个适合部署在廉价机器上的，具有高度容错性的，高吞吐量的分布式文件系统。HDFS的设计理念支持超大规模数据集运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被设计成支持大文件存储，能在一个集群里扩展到

设计两个大模块，存储（文件系统）与程序的实例模块。程序的实例模块划分为：存储管理，缓存机制，SQL解析，日志管理，权限划分，容灾机制，索引管理，锁管理。为什么使用索引？假设使用原始的全表查询，那么对于小量数据可能速度并没有影响，但是在大量数据的情况下会使得速度很慢。而索引，则类似于字典中的偏旁部首，加快了查询的效率。二叉

以前一直纠结，存储文件系统底层究竟用raid5做到读写和安全的兼顾，还是选择raid6以安全为主导牺牲性能呢？今日就给大家一点参考！数据源主机A型号：群晖1817，硬盘8个硬盘类型：sata10T存储冗余类型：raid5数据同步主机B型号：群晖18015，硬盘12个硬盘类型：sas16T存储冗余类型：raid6同步软件

sersync其实是利用inotify和rsync两种软件技术来实现数据实时同步功能的，inotify是用于监听sersync所在服务器上的文件变化，结合rsync软件来进行数据同步，将数据实时同步给客户端服务器。　　　　工作过程：在同步主服务器上开启sersync，负责监听文件系统的变化，然后调用rsync命令把更新的文件同步到目标服务器上，主服务器上

关于容器的发展史关于容器有不得不说的历史故事，以下资料来自于互联网收集整理所得：容器概念始于1979年提出的UNIXchroot，它是一个UNIX操作系统的系统调用，将一个进程及其子进程的根目录改变到文件系统中的一个新位置，让这些进程只能访问到这个新的位置，从而达到了进程隔离的目的。2000年的时候FreeBSD开发了一

whatisZookeeper?1，开源的分布式的，为分布式应用提供协调服务的Apache项目2，提供一个简单原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务3，设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构4，目的就是将分布式服务不再需要由于协作冲突而另外实现的协作服务Zookeep

hadoop最主要的2个基本的内容要了解。上次了解了一下HDFS，本章节主要是了解了MapReduce的一些基本原理。MapReduce文件系统：它是一种编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce将分为两个部分：Map（映射）和Reduce（归约）。当你向mapreduce框架提交一个计算作业，它会首先把计算作业分成若干个

概述数据存储是开发中必不可少的一个功能，我们可以通过Sqlite数据库手动创建数据库，定义数据表；可以使用IOS的数据框架CoreData，更方便的操作数据库；也可以直接读写文件系统；这里将介绍另外一种常用的方法：使用NSUserDefaults类，以字典形式保存数据，IOS会自动把字典中的键值对转换成对应的XML文件（也就是plist文件），这

Linux文本处理工具Linux中熟练的使用文本处理工具非常的重要,因为Linux在设计的时候是采用一切皆文件的哲学的,甚至连计算机中的配置也都使用伪文件系统来表示,要查询里面的内容就是对文件进行操作,所以学会使用文件处理工具事半功倍。而在一切皆对象的Windows中,因为对象封装了所有的操作,包括显示标