hadoop入门:第十章hadoop工具
问题导读
1.hadoop有哪些工具? 2.hadoop流的作用是什么? 3.hadoop集群负载如何模拟? 4.hadoop数据提取和分析工具是哪个? 1.Hadoop 流 文档简介 Hadoop的数据流是自带的Hadoop发行版的实用程序。这个程序允许你创建和运行可执行的Map/Reduce jobs或则脚本,作为mapper或则reducer。举例:
[Bash shell] 纯文本查看 复制代码
?
hadoop jar hadoop-streaming-2.7.2.jar
-input myInputDirs
-output myOutputDir
-mapper /bin/cat
-reducer /usr/bin/wc
英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-streaming/HadoopStreaming.html 2.Hadoop Archives 指南 文档简介 hadoop Archives 是特殊格式的archives。 一个Hadoop archive 映射一个文件系统目录.hadoop archive 是一个*.har。一个hadoop Archives 目录包括元数据(以 _index 和_masterindex形式)和数据 (part-*)文件。这个_index 文件包含文件的名字作为归档的一部分和部分文件的位置 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-archives/HadoopArchives.html 3.DistCp指南 文档简介 DistCp Version 2 (分布式 copy) 是一个工具用于大的 集群内和集群间的复制。它用mapreduce来影响它的分布,错误处理和恢复,和报告。它扩展了文件列表和目录输入map 的任务,每个文件分区在资源列表指定。本文档的目的是描述新distcp设计 英文文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-distcp/DistCp.html 4.Gridmix 文档简介 GridMix是Hadoop集群的基准。为运行 GridMix,你需要一个MapReduce job 跟踪描述给定集群的混合job 英文文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-gridmix/GridMix.html 5.Rumen 文档简介 Rumen是Apache的Hadoop构建的数据提取和分析工具 英文文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-rumen/Rumen.html 6.Yarn调度负载模拟器(SLS) 文档简介 Yarn 调度器是大家都感兴趣的地方,有不同的实现,例如, Fifo, Capacity 和Fair schedulers.与此同时,一些优化也作出改善不同场景和工作负载调度程序的性能。每个调度器算法有其自身的功能集,驱动调度收到许多影响,比如 fairness, capacity 能力, 资源可用性, 等.这非常重要评估调度算法是好的,在我们部署生产集群之前。一个真正的集群评估始终是时间和成本消耗,但是比较难以找到一个足够大的集群,因此,模拟器可以预测一个调度器算法对于一些特定的工作负载将会很有用。 英文文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-sls/SchedulerLoadSimulator.html
- 微软在动态语言支持上超越了Java?
- JAVA图片批量上传JS-带预览功能
- Netty-Websocket 根据URL路由,分发机制的实现
- DrawerLayout实现网易新闻抽屉效果
- shiro权限控制(一):shiro介绍以及整合SSM框架
- websocket(三) 进阶!netty框架实现websocket达到高并发
- Kafka源码系列之Broker的IO服务及业务处理
- Dubbo(五) Dubbo入门demo——helloworld
- Dubbo(四) Dubbo-Admin项目 Dubbo管理台
- volley请求原理
- Dubbo(三) 安装Zookeeper 单机-集群
- ASP.NET MVC Preview生命周期分析
- Dubbo(二) 认识Zookeeper
- Kafka源码系列之使用要点总结及重要错误解决
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 纲手推荐程序笔记1-p5.js创意游戏编程
- 由浅入深彻底了解 Python 闭包和装饰器
- leetcode1078 Occurrences After Bigram
- 负二进制加法实现
- 如何在O(1)时间复杂度下实现LRU
- 字符串拼接的N种方式
- MySQL 解决查询NULL的问题
- 矩阵旋转的解决
- Python partial最通俗的理解
- Django Form的使用
- Python每日一题:装饰器(完整篇)
- Vue视图渲染原理解析,从构建VNode到生成真实节点树
- Vue你不得不知道的异步更新机制和nextTick原理
- 手摸手带你理解Vue的Watch原理
- rollup环境搭建(es6转es5、压缩、本地服务器、热更新)