【Hadoop 分布式部署 三:基于Hadoop 2.x 伪分布式部署进行修改配置文件】
1.规划好哪些服务运行在那个服务器上
需要配置的配置文件
2. 修改配置文件,设置服务运行机器节点
首先在 hadoop-senior 的这台主机上 进行 解压 hadoop2.5 按照伪分布式的配置文件来进行配置
使用命令 :tar -zxvf hadoop-2.5.0.tar.gz -C /opt/app/ (解压 hadoop 2.5)
然后进入 cd /opt/app/hadoop-2.5.0/etc
将里面一开始的配置文件重命令 mv hadoop backup-hadoop
然后将一开始伪分布式中的配置文件复制过来 使用命令 cp -r /opt/moudles/hadoop-2.5.0/etc/hadoop ./
(如果在Windows下 想使用方便,可以在C:WindowsSystem32driversetc目录下 修改hosts文件 配置 虚拟机的主机IP)
开始配置
使用notepad 进行配置hadoop 的配置文件
hadoop.env export JAVA_HOME=/opt/modules/jdk1.7.0_67 (默认已经配置好了,不用更改)
core-site.xml 文件中的内容配置
<configuration>
<!--这个配置的是 默认读取文件的位置,是从本地 还是从hdfs系统上 -->
<!--指定 namenode 所在的机器-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-senior.zuoyan.com:8020</value>
</property>
<!-- 配置数据 存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/app/hadoop-2.5.0/data/tmp</value>
</property>
<!--配置垃圾箱中文件保存的时间-->
<property>
<name>fs.trash.interval</name>
<value>604800</value>
</property>
</configuration>
因为没有数据存放的目录 所以需要配置一下 hadoop.tmp.dir 的目录
命令 : mkdir -p /opt/app/hadoop-2.5.0/data/tmp
配置hdfs
首先配置hdfs-site.xml 文件
因为是分布式 所以不需要配置副本数 去掉 dfs.replication
配置SecondaryNameNode 所在的节点 dfs.namenode.secondary.http-address hadoop-senior03.zuoyan.com
<configuration>
<!--配置secondary namenode 所在的主机-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-senior03.zuoyan.com:50090</value>
</property>
</configuration>
配置slaves 也就是配制 DataNode NodeManager
配置的内容为
hadoop-senior.zuoyan.com
hadoop-senior02.zuoyan.com
hadoop-senior03.zuoyan.com
配置yarn
首先配置 yarn.env 配置yarn的环境变量 (我这里已经配置好了,就不用更改了)
配置yarn-site.xml 这个文件
这个配置文件只需要 将 resourcesmanager 所在的主机节点更改成第二台主机就可以了
剩下的配置文件不用修改,配置文件内容如下
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--配置resourcemanager 所在的主机名 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-senior02.zuoyan.com</value>
</property>
<!--启用历史服务器的日志聚集功能-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--设置日志在文件系统上的存放时间-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>
<!--配置NodeManager Resource-->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property>
</configuration>
配置 mapred-site.xml
配置 JobHistoryServer 的配置文件 资源设计的时候 就把他放在了第一台主机上,所以 保持默认配置文件即可,修改一下主机名就行
配置文件的内容如下
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--配置历史记录服务器所在地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-senior.zuoyan.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-senior.zuoyan.com:19888</value>
</property>
</configuration>
到此,配置文件就配置完成了!下一步就是分发到各个机器上去
(还有一个小点就是 删除 在 /opt/app/hadoop-2.5.0/share 下的 doc文件夹,这个文件是文档,我们一般,不用,而且还占用磁盘空间 大概占用的磁盘空间是1.5G )
好了,这篇随笔就到这里了,下一篇继续!
- 在SQL Server里如何进行页级别的恢复
- 你可能不知道的字符比较中的“秘密”
- c++实现简单计算器
- re模块(正则表达式)
- Python学习——collections系列
- 为stackGan一个工程创建一个虚拟环境,python 2.7 tensorflow0.12-tensorflow 1.01
- linux 普通操作,查看资源使用情况
- Python 函数使用记录,join函数和os.path.join用法
- 01.SQLServer性能优化之----强大的文件组----分盘存储
- stackGan实验
- pyTorch基础入门练习
- 昨天遇到的几个常用函数
- 【深入浅出】一篇超棒的机器学习入门文章
- .NET中的异步编程上
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Flutter基础widgets教程-CupertinoAlertDialog篇
- Flutter基础widgets教程-cupertinoActivityIndicator篇
- Flutter基础widgets教程-Align篇
- 深入理解Linux内核进程上下文切换
- 面对疾风吧!io_uring 优化 nginx 实战演练
- 奇技淫巧:在 ssh 里面把服务器的文本复制到本地电脑
- 【计算机网络】学习笔记,第一篇:概述(谢希仁版)
- 【Objective-C】Objective-C语言的动态性
- Python解构与封装
- 关于内网穿透:NPS神器
- 【填坑系列】Python习题集
- Facebook 新一代 React 状态管理库 Recoil
- Adminer 简单的利用
- Xserver免脱壳解密APP
- Flask 入门系列教程(三)