HDFS的Java API的访问方式实例代码
时间:2019-04-13
本文章向大家介绍HDFS的Java API的访问方式实例代码,主要包括HDFS的Java API的访问方式实例代码使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
本文研究的主要是HDFS的Java API的访问方式,具体代码如下所示,有详细注释。
最近的节奏有点儿快,等有空的时候把这个封装一下
实现代码
要导入的包:
import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileUtil; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hdfs.DistributedFileSystem; import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
实体方法:
/** * 获取HDFS文件系统 * @return * @throws IOException * @throws URISyntaxException */ public static FileSystem getFileSystem() throws IOException, URISyntaxException{ //read config file Configuration conf = new Configuration(); //返回默认文件系统 //如果在Hadoop集群下运行,使用此种方法可以直接获取默认文件系统 //FileSystem fs = FileSystem.get(conf); //指定的文件系统地址 URI uri = new URI("hdfs://hy:9000"); //返回指定的文件系统 //如果在本地测试,需要使用此种方法获取文件系统 FileSystem fs = FileSystem.get(uri, conf); return fs; } /** * 创建文件目录 * @throws Exception */ public static void mkdir() throws Exception{ //获取文件系统 FileSystem fs = getFileSystem(); //创建文件目录 fs.mkdirs(new Path("hdfs://hy:9000/hy/weibo")); //释放资源 fs.close(); } /** * 删除文件或者文件目录 * @throws Exception */ public static void rmdir() throws Exception{ //获取文件系统 FileSystem fs = getFileSystem(); //删除文件或者文件目录 fs.delete(new Path("hdfs://hy:9000/hy/weibo"), true); //释放资源 fs.close(); } /** * 获取目录下所有文件 * @throws Exception */ public static void listAllFile() throws Exception{ //获取文件系统 FileSystem fs = getFileSystem(); //列出目录内容 FileStatus[] status = fs.listStatus(new Path("hdfs://hy:9000/hy/")); //获取目录下所有文件路径 Path[] listedPaths = FileUtil.stat2Paths(status); //循环读取每个文件 for (Path path : listedPaths) { System.out.println(path); } //释放资源 fs.close(); } /** * 将文件上传至HDFS * @throws Exception */ public static void copyToHDFS() throws Exception{ //获取文件对象 FileSystem fs = getFileSystem(); //源文件路径是Linux下的路径 Path srcPath = new Path("/home/hadoop/temp.jar"); //如果需要在windows下测试,需要改为Windows下的路径,比如 E://temp.jar Path srcPath = new Path("E://temp.jar"); //目的路径 Path dstPath = new Path("hdfs://hy:9000/hy/weibo"); //实现文件上传 fs.copyFromLocalFile(srcPath, dstPath); //释放资源 fs.close(); } /** * 从HDFS上下载文件 * @throws Exception */ public static void getFile() throws Exception{ //获得文件系统 FileSystem fs = getFileSystem(); //源文件路径 Path srcPath = new Path("hdfs://hy:9000/hy/weibo/temp.jar"); //目的路径,默认是Linux下的 //如果在Windows下测试,需要改为Windows下的路径,如C://User/andy/Desktop/ Path dstPath = new Path("D://"); //下载HDFS上的文件 fs.copyToLocalFile(srcPath, dstPath); //释放资源 fs.close(); } /** * 获取HDFS集群点的信息 * @throws Exception */ public static void getHDFSNodes() throws Exception{ //获取文件系统 FileSystem fs = getFileSystem(); //获取分布式文件系统 DistributedFileSystem hdfs = (DistributedFileSystem)fs; //获取所有节点 DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats(); //循环比遍历 for (int i = 0; i < dataNodeStats.length; i++) { System.out.println("DataNote_" + i + "_Name:" + dataNodeStats[i].getHostName()); } //释放资源 fs.close(); } /** * 查找某个文件在HDFS集群的位置 * @throws Exception */ public static void getFileLocal() throws Exception{ //获取文件系统 FileSystem fs = getFileSystem(); //文件路径 Path path = new Path("hdfs://hy:9000/hy/weibo/temp.jar"); //获取文件目录 FileStatus fileStatus = fs.getFileStatus(path); //获取文件块位置列表 BlockLocation[] blockLocations = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen()); //循环输出块信息 for (int i = 0; i < blockLocations.length; i++) { String[] hosts = blockLocations[i].getHosts(); System.out.println("block_" + i + "_location:" + hosts[0]); } //释放资源 fs.close(); }
总结
以上就是本文关于HDFS的Java API的访问方式实例代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!
- 强制wordpress后台HTTPS
- Golang语言 Cookie的使用
- Golang 语言调用动态库实现OpenGL及windows的API编程
- MySQL中的Online DDL(第一篇)(r11笔记第3天)
- 转--quick-cocos做客户端,golang做服务端,实现HTTP通信
- Nginx配置SSL证书
- Golang语言RPC Authorization进行简单ip安全验证的方法
- 深入理解Oracle中的DBCA
- Golang语言goto语句
- 转--Golang语言语法汇总
- Oracle,MySQL迁移整合的问题总结(r10笔记第99天)
- MySQL修复表的简单分析(r11笔记第19天)
- Golang语言中的流程控制结构和函数详解
- Golang语言版的ip2long函数实例
- java教程
- Java快速入门
- Java 开发环境配置
- Java基本语法
- Java 对象和类
- Java 基本数据类型
- Java 变量类型
- Java 修饰符
- Java 运算符
- Java 循环结构
- Java 分支结构
- Java Number类
- Java Character类
- Java String类
- Java StringBuffer和StringBuilder类
- Java 数组
- Java 日期时间
- Java 正则表达式
- Java 方法
- Java 流(Stream)、文件(File)和IO
- Java 异常处理
- Java 继承
- Java 重写(Override)与重载(Overload)
- Java 多态
- Java 抽象类
- Java 封装
- Java 接口
- Java 包(package)
- Java 数据结构
- Java 集合框架
- Java 泛型
- Java 序列化
- Java 网络编程
- Java 发送邮件
- Java 多线程编程
- Java Applet基础
- Java 文档注释