Docker环境下部署单机伪分布式hadoop环境
时间:2021-08-04
本文章向大家介绍Docker环境下部署单机伪分布式hadoop环境,主要包括Docker环境下部署单机伪分布式hadoop环境使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
准备工作:准备hadoop-2.7.7.tar.gz、jdk-8u191-linux-x64.tar.gz压缩包,版本可以不同,我这里用的是hadoop-2.7.7和jdk1.8。
1. 上传hadoop-2.7.7.tar.gz、jdk-8u191-linux-x64.tar.gz压缩包。
[root@master ~]# cd /home/azl
[root@master azl ]# ll
2. 创建Dockerfile文件
[root@master azl ] # vim Dockerfile
#选择centos7.7.1908作为基础镜像#选择centos7.7.1908作为基础镜像
FROM centos:centos7.7.1908
#镜像维护者信息(根据自己的信息进行修改)
MAINTAINER xxx@xxx.com
#构建容器时需要运行的命令
#安装openssh-server. openssh-clents. sudo、 vim和net-tools软件包
RUN yum install -y openssh-server openssh-clients sudo vim net-tools
#生成相应的主机密钥文件
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
RUN ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key
RUN ssh-keygen -t ed25519 -f /etc/ssh/ssh_host_ed25519_key
#将宿主机的文件拷贝至境像(ADD会自动解压),这里要切换到jdk和hadoop压缩包所在路径
ADD jdk-8u191-linux-x64.tar.gz /usr/local
ADD hadoop-2.7.7.tar.gz /usr/local
#设置环境变量
ENV CENTOS_DEFAULT_HOME /root
ENV JAVA_HOME /usr/local/jdk1.8.0_191
ENV HADOOP_HOME /usr/local/hadoop-2.7.7
ENV JRE_HOME ${JAVA_HOME}/jre
ENV CLASSPATH ${JAVA_HOME}/lib:${JRE_HOME}/lib
ENV PATH ${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
#终端默认登录进来的工作目录
WORKDIR $CENTOS_DEFAULT_HOME
#启动sshd服务并且暴露22端口
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]CMD ["/usr/sbin/sshd", "-D"]
3. 编译docker文件
[root@master azl ] # docker build -t xxx/hadoop:2.7.7 . #-t后面是镜像名,根据需要修改
4. 设置网络
[root@master azl ] # docker network ls
[root@master azl ] # docker network inspect [容器id]
5. 创建自己的网络
[root@master azl ] # docker network create --subnet=172.22.0.0/16 mynetwork(mynework网络名随便取)
6. 查看镜像
[root@master azl ] # docker images
7. 运行容器并进行端口映射
[root@master azl ] #docker run -d --name hadoop --hostname hadoop -P -p 50070:50070 -p 8088:8088 -p 19888:19888 --net mynetwork --ip 172.22.0.2 b3327df9f137[镜像id]
8. 查看容器
[root@master azl ] # docker ps
可以看到容器已经运行起来了,下面进入容器内部
9. 进入容器
[root@master azl ] # docker exec -ti 98b98c1b083c[容器id] /bin/bash
10. 设置ssh免密登录
[root@hadoop ~ ] # cd ~/.ssh
如果出现这种情况,说明root用户下没有登陆过ssh,登陆一下就好了
执行ssh localhost
一路回车,再次执行cd ~/.ssh,成功进入.ssh目录
[root@hadoop ~ ] # ssh-keygen -t rsa,一路回车
生成两个文件,一个私钥,一个公钥,执行:cp id_rsa.pub authorized_keys
11. 本机无密钥登录
修改authorized_keys权限:chmod 644 authorized_keys
尝试登录和退出,好了,现在可以无密钥登录了。
12. 建立临时文件夹
[root@hadoop ~]# mkdir /usr/local/hadoop-2.7.7/tmp
[root@hadoop ~]# mkdir -p /usr/local/hadoop-2.7.7/dfs/namenode_data
[root@hadoop ~]# mkdir -p /usr/local/hadoop-2.7.7/dfs/datanode_data
13. 切换到hadoop-2.7.7目录下
[root@hadoop ~]# cd /usr/local/ hadoop-2.7.7
[root@hadoop hadoop-2.7.7]# java -version
[root@hadoop hadoop-2.7.7]# cd etc/hadoop
[root@hadoop hadoop]# vim hadoop-env.sh
按照如下配置,保存退出。
14. 修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml配置文件。
[root@hadoop hadoop]# vim core-site.xml
core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.7/tmp</value>
</property>
</configuration>
[root@hadoop hadoop]# vim hdfs-site.xml
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop-2.7.7/dfs/namenode_data</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.7/dfs/datanode_data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
我们这里先复制一份mapred-site.xml.template并改名为mapred-site.xml
[root@hadoop hadoop]# cp mapred-site.xml.template mapred-site.xml
vim打开
[root@hadoop hadoop]# vim mapred-site.xml
mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop:19888</value>
</property>
</configuration>
[root@hadoop hadoop]# vim yarn-site.xml
yarn-site.xml:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
15. 配置所有从属节点的主机名或ip地址,由于是单机版,所以指定本机即可
[root@hadoop hadoop]# vim slaves
16. 切换到根目录
[root@hadoop hadoop]# cd
[root@hadoop ~]# clear
格式化
[root@hadoop ~]# hdfs namenode -format
[root@hadoop ~]# start-dfs.sh
[root@hadoop ~]# start-yarn.sh
[root@hadoop ~]# mr-jobhistory-daemon.sh start historyserver
jps查看,现在hadoop环境已经配置好了,浏览器访问50070、19888端口可以看到hadoop界面
[root@hadoop ~]# jps
此时,我们的hadoop环境就已经搭建好了,下面在浏览器访问试试。
原文地址:https://www.cnblogs.com/azl2674/p/15098251.html
- linq to sql取出随机记录/多表查询/将查询出的结果生成xml
- [原创]Func〈T, TResult〉 泛型委托 以及演变历程(整理自MSDN)
- 上市企业4位数秒下的域名 如今9.9万元出售
- 黑客横行,全球安全系统集成市场将破百亿美元
- 有好东西融资2000万美金:官网启用四拼域名
- 全球首个农业全产业链智能工程“农业大脑”入选ECI
- 大数据说消费正从炫耀转向体验
- 这真是看脸的时代!刷脸购物!
- 苹果公司也瞄准了无人驾驶汽车行业
- 儿童智能手表存在安全漏洞而引发的思考
- 2017年度最弱鸡密码出炉:霸主仍旧无人能及
- 万达网科大裁员后将转型AI?谁将接下这颗“烫手山芋”
- 简普科技CEO叶大清:中国金融机构已开始AI变革
- 微信小程序终于可以玩直播了
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- php校验公钥是否可用的实例方法
- PHP实现的微信APP支付功能示例【基于TP5框架】
- php创建多级目录与级联删除文件的方法示例
- Linux VPS定时备份服务器/网站数据到Github私人仓库
- Laravel框架验证码类用法实例分析
- Yii框架常见缓存应用实例小结
- 使用Docker搭建DPlayer视频弹幕接口API后端
- php+jQuery ajax实现的实时刷新显示数据功能示例
- yii2.0框架使用 beforeAction 防非法登陆的方法分析
- PHP使用 Imagick 扩展实现图片合成,圆角处理功能示例
- php项目中类的自动加载实例讲解
- Yii框架参数配置文件params用法实例分析
- 使用Kotlin实现文字渐变TextView的代码
- thinkPHP5框架路由常用知识点汇总
- PHP实现一个限制实例化次数的类示例