1packagehdfs;23importjava.io.FileNotFoundException;4importjava.io.IOException;5importjava.net.URI;67importorg.apache.had

使用JAVAAPI连接HDFS时我们需要使用NameNode的地址,开启HA后,两个NameNode可能会主备切换,如果连接的那台主机NameNode挂掉了,连接就会失败.HDFS提供了nameservices的方式进行访问,这样只要有一个NameNode活着,都可以正常访问.HDFSNameNodeHA

一、HDFS个人理解      HDFS是个文件系统，只不过加了个分布式作为文件系统的前缀而已，大概的结构就像LINUX系统。文件大的一个电脑存储不下，怎办？那就想办法存储到不同的机子上呗，于是HDFS就应用而生了。众所周知，文件在硬盘上是以文件块的形式存储。什么句柄啊，真心不懂，只能感知，没人能明白0和1，当然也没必要。二、Map个人理解

需要安装的软件Hadoop包含HDFS集群和YARN集群。部署Hadoop就是部署HDFS和YARN集群。机器数量、角色4台。NameNode1台、DataNode3台主机名IP角色amaster192.168.37.143NameNode:9000ResourceManag

一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字

hdfs是hadoop的文件管理系统，主要有两部分：一个是NameNode：主要作用是负责接收客户端求，告知datanode的blk存储位置，维护hdfs的目录树；另一个是DateNode：主要是把文件分割成blk存储在不同的服务器上，并且负责产生副本，也能定期向NameNode汇报blk的情况；使用hdfs的好处是提高系统的高可用性：因为hdf

1.起点HelloWorld    valscnewSparkContext("spark://...","HelloWorld","SPARK\_HOME路径","APP\_JAR路径")    valfilesc.textFile("hdfs:///root/Log")   

分析MapReduce执行过程MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：!image

用户身份在1.0.4这个版本的Hadoop中，客户端用户身份是通过宿主操作系统给出。对类Unix系统来说，用户名等于\whoami\；组列表等于\bashcgroups\。将来会增加其他的方式来确定用户身份（比如Kerberos、LDAP等）。期待用上文中提到的第一种方式来防止一个用户

1.HDFS启动与关闭1)启动脚本：  startall.sh2)关闭脚本：  stopall.sh2.HDFS文件操作命令2.1操作命令格式hdfsdfscmdargscmd是具体命令args是命令参数2.2cat格式：hdfsdf