P02_Hadoop CDH 5.3.6集群搭建
安装hadoop包
1、下载hadoop-2.6.0-cdh5.12.0.tar.gz,上传到虚拟机的/usr/local目录下。[CDH下载地址](http://archive.cloudera.com/cdh5/cdh/5/)
2、将hadoop包进行解压缩:tar -zxvf hadoop-2.6.0-cdh5.12.0.tar.gz
3、对hadoop目录进行重命名:mv hadoop-2.6.0-cdh5.12.0.tar.gz hadoop
4、配置hadoop相关环境变量
vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
5、创建/usr/local/data
目录
修改core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://sparkproject1:9000</value>
</property>
修改hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/local/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/data/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
修改mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>sparkproject1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
修改slaves文件
sparkproject2
sparkproject3
在另外两台机器上搭建hadoop
1、使用如上配置在另外两台机器上搭建hadoop,可以使用scp命令将sparkproject1上面的hadoop安装包和/etc/profile
配置文件都拷贝过去。(scp -r hadoop root@sparkproject2:/usr/local)
2、要记得对/etc/profile
文件进行source,以让它生效。
3、记得在sparkproject2和sparkproject3的/usr/local目录下创建data目录。
启动hdfs集群
1、格式化namenode:在sparkproject1上执行以下命令,hdfs namenode -format 2、启动hdfs集群:start-dfs.sh3、验证启动是否成功:jps、50070端口 sparkproject1:namenode、secondarynamenode sparkproject2:datanode sparkproject3:datanode 4、hdfs dfs -put hello.txt /hello.txt
启动yarn集群
1、启动yarn集群:start-yarn.sh2、验证启动是否成功:jps、8088端口 sparkproject1:resourcemanager、nodemanager sparkproject2:nodemanager sparkproject3:nodemanager
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- python的json包位置及用法总结
- 如何优雅的使用 laravel 的 validator验证方法
- phpMyAdmin通过密码漏洞留后门文件
- laravel中的一些简单实用功能
- PHP 获取客户端 IP 地址的方法实例代码
- 优秀开源AI框架推荐
- python中常见错误及解决方法
- tensorflow 2.0模式下训练的模型转成 tf1.x 版本的pb模型实例
- Python如何实现后端自定义认证并实现多条件登陆
- safari下载文件自动加了html后缀问题
- yii2 上传图片的示例代码
- DataFrame.groupby()所见的各种用法详解
- keras训练曲线,混淆矩阵,CNN层输出可视化实例
- Pandas缺失值2种处理方式代码实例
- ThinkPHP5 的简单搭建和使用详解