Hadoop生态圈和各组件的启动、关闭脚本介绍
Hadoop生态圈各组件的启动及关闭脚本,虽然有些使用频率不高,不容易记住,这里特地整理出来,大家可以先保存,用的时候就方便了。
1. Hdfs (v 2.7.3)
1.1.启动集群
sbin/start-dfs.sh
注:这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。
1.2.启动NameNode
sbin/hadoop-daemon.sh start namenode
1.3.启动DataNode
sbin/hadoop-daemon.sh start datanode
1.4.停止集群
sbin/stop-dfs.sh
1.5.停止单个进程
sbin/hadoop-daemon.sh stop zkfc
sbin/hadoop-daemon.sh stop journalnode
sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode
2. Yarn (v 2.7.3)
2.1.启动集群
sbin/start-yarn.sh
注:start-yarn.sh启动脚本只在本地启动一个ResourceManager进程,而3台机器上的nodemanager都是通过ssh的方式启动的。
2.2.启动ResouceMananger
sbin/yarn-daemon.sh start resourcemanager
2.3.启动NodeManager
sbin/yarn-daemon.sh start nodemanager
2.3.启动JobHistoryServer
sbin/yarn-daemon.sh start historyserver
2.4.停止集群
sbin/stop-yarn.sh
2.5.停止单个节点
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
3. Zookeeper (v 3.4.5)
3.1.启动集群
bin/zkServer.sh start
3.2.启动单个节点
bin/zkServer.sh start
3.3.启动客户端
bin/zkCli.sh -server master:2181
4.Kafka (v 2.10-0.10.1.1)
4.1.启动集群
bin/kafka-server-start.sh -daemon config/server.properties
4.2.启动单个节点
bin/kafka-server-start.sh -daemon config/server.properties
4.3.创建Topic
bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test
4.4.列出Topic
bin/kafka-topics.sh --list --zookeeper master:2181
4.5.生产数据
bin/kafka-console-producer.sh --broker-list master:9092 --topic test
4.6.读取数据
bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning
5.Hbase (v 1.2.4)
5.1.启动/停止集群
bin/start-hbase.shbin/stop-hbase.sh
5.2. 启动/停止HMaster
bin/hbase-daemon.sh start masterbin/hbase-daemon.sh stop master
5.3. 启动/停止HRegionServer
bin/hbase-daemon.sh start regionserverbin/hbase-daemon.sh stop regionserver
5.2.启动Shell
bin/hbase shell
6.Spark (v 2.1.0-bin-hadoop2.7)
6.1.启动程序
6.1.1. 本地
bin/spark-shell --master local
6.1.2.Standalone
bin/spark-shell --master spark://master:7077
6.1.3. Yarn Client
bin/spark-shell --master yarn-client
6.1.4. Yarn Cluster
bin/spark-shell --master yarn-cluster
7. Flume
7.1启动Agent
bin/flume-ng agent -n LogAgent -c conf -f conf/logagent.properties -Dflume.root.logger=DEBUG,console
8.Sqoop
8.1.导入
sqoop import
--connect jdbc:mysql://mysql.example.com/sqoop
--username sqoop
--password sqoop
--table cities
8.2.导出
sqoop export
--connect jdbc:mysql://mysql.example.com/sqoop
--username sqoop
--password sqoop
--table cities
--export-dir cities
9.Hive
9.1. 启动Shell
hive -h <host> -p <port>
beeline -u jdbc:hive2://<host>:<port>
10. Mysql
10.1.启动Shell
mysql -u<user> -p<password>
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- AkShare-股票数据-券商业绩月报
- AkShare-期货数据-仓单日报-上海期货交易所
- AkShare-期货数据-仓单日报-大连商品交易所
- AkShare-期货数据-仓单日报
- AkShare-股票数据-美港目标价
- AkShare-Websocket-行情数据
- AkShare-股票-市场总貌
- AkShare-使用教程-R语言调用数据接口
- AkShare-重要机构-美国商品期货交易委员会
- AkShare-重要机构-伦敦金属交易所
- 为什么不推荐使用BeanUtils属性转换工具
- 从源码打造云原生时代的「Linux」——Kubernetes
- Django-models & QuerySet API
- [奇淫巧技]GitHub个人页的新玩法
- 一致性哈希的分析与实现