离线数据分析平台实战——040HDFS&JAVA API（熟悉基础概念跳过）

HDFS结构介绍

HDFS是Hadoop提供的基于分布式的文件存储系统。 全称为Hadoop Distributed File System。 主要由NameNode、DataNode两类节点构成。 其中NameNode节点的主要功能是管理系统的元数据，负责管理文件系统的命令空间，记录文件数据块在DataNode节点上的位置和副本信息，协调客户端对文件系统的访问，以及记录命名空间的改动和本身属性的变动。 DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。

HDFS结构示意图

HDFS架构

一个文件存储案例

HDFS设计思想

HDFS特性

HDFS优点：

• 高容错性
  • 数据自动保存多个副本
  • 副本丢失后，自动恢复
• 适合批处理
  • 移动计算而非数据
  • 数据位置暴露给计算框架（Block偏移量）
• 适合大数据处理
  • GB 、TB 、甚至PB 级数据
  • 百万规模以上的文件数量
  • 10K+ 节点
• 可构建在廉价机器上
  • 通过多副本提高可靠性
  • 提供了容错和恢复 机制

HDFS缺点：

• 低延迟数据访问
  • 比如毫秒级
  • 低延迟与高吞吐率
• 小文件存取
  • 占用NameNode 大量内存
  • 寻道时间超过读取时间
• 并发写入、文件随机修改
  • 一个文件只能有一个写者
  • 仅支持append

HDFS文件系统介绍

Hadoop提供的操作HDFS的api接口是以FileSystem为基础的， 在该类中提供一系列操作文件的方法 例如： 文件上传copyFromLocalFile方法，创建文件create方法， 删除文件delete方法等。该类的全称为org.apache.hadoop.fs.FileSystem。 主要的子类有： DistributedFileSystem, WebHdfsFileSystem等。 通过FileSystem访问远程集群一般情况下需要给定配置信息， Hadoop通过自定义的Configuration类来给定hadoop相关的连接信息。 Configuration采用延迟加载的模式来加载配置信息，加载顺序是按照代码顺序加载，但是如果在代码中强制指定的话，那么会覆盖文件中的加载。

HDFS创建空文件

方法：createNewFile 参数：f:指定要创建文件的路径，可以为相对路径 返回值：如果创建成功返回true。否则返回false

HDFS写文件

方法：append 参数： f:指定要写出文件的路径，可以为相对路径。 bufferSize: 缓冲区大小 返回值：如果创建成功获得FSDataOutputStream输出流，否则出现异常信息

HDFS创建文件并输出文件内容

方法：create 参数： f:指定要创建文件的路径，可以为相对路径 permission:指定文件权限，默认为644(rw-r--r--) overwrite: 是否覆盖，默认覆盖 bufferSize: 进行写过程中缓存区大小，默认4096 replication: 备份个数，默认3 blockSize: 块大小，默认128MB progress: 进程通知对象，默认为空 返回值：如果创建成功，返回FSDataOutputStream对象；否则出现异常信息

HDFS读文件内容

方法：open 参数： f:指定要读取的文件路径，可以为相对路径 bufferSize: 缓冲区大小 返回值：如果创建成功获得FSDataInputStream输出流，否则出现异常信息

HDFS创建文件夹

方法：mkdirs 参数： f:指定要创建的文件夹路径，可以为相对路径。 permission: 指定创建文件的权限，默认755。 返回值：如果创建成功则返回true；否则返回false。

HDFS上传文件

方法：copyFromLocal 参数： delSrc:是否删除本地文件，默认true。 overwrite:当目标文件存在的时候，是否覆盖，默认true。 srcs/src:本地文件，可以指定为数组或者单个文件。 dst:集群存储文件。 返回值：无，如果操作失败，会产生异常信息。 其他类似方法： moveFromLocal从本地移动文件到集群上。 copyToLocal从集群上复制文件到本地。 moveToLocal从集群上移动文件到本地。

HDFS删除文件

方法：delete 参数： f:要删除的文件路径，可以为绝对路径。 recursive:是否进行递归删除，默认为true。 返回值：如果文件不存在，则返回false。如果指定recursive为false，而且要删除的文件夹不为空，那么抛出异常，如果删除成功返回true。 其他删除方法： deleteOnExit: 如果存在则返回true，并标记删除，如果不存在，则返回false。

HDFS查看文件属性

方法：getFileStatus 参数： f:要获取状态属性指定的文件路径，可以为绝对路径。 返回值：如果获取文件属性成功，则返回FileStatus对象。否则发生异常信息。 其他类似方法： listStatus: 递归的获取文件属性信息。

其他API接口

rename: 修改文件名称。 exists: 指定文件是否存在。 setReplication: 重新设置文件的备份个数。 isDirectory: 判断是否是文件夹。 setOwner: 设置文件所属者信息。 .........

api参考http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.6/api/index.html