Hadoop历史服务器配置详细步骤

Hadoop JobHistory Server 默认情况下是没有启动的，而且需要自己配置和启动该服务。在步骤开始之前，建议先把 hdfs 和 yarn 停掉：stop-dfs.sh、stop-yarn.sh

1. 历史服务器基本配置

1.1 配置 mapred-site.xml 文件

满足基本使用的话，在 mapred-site.xml 添加下面配置即可（注意根据自己的 ip 进行修改）。

vim mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>ip:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>ip:19888</value>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/history/done_intermediate</value>
</property>

1.2 启动

（1）启动 hdfs 和 yarn。

start-dfs.sh
start-yarn.sh

（2）使用 $HADOOP_HOME/sbin/ 下的脚本 mr-jobhistory-daemon.sh 启动历史服务器

# 启动命令
mr-jobhistory-daemon.sh start historyserver
# 停止命令
mr-jobhistory-daemon.sh stop historyserver

浏览器输入：http://ip:19888/jobhistory 回车

2. 配置日志的聚集

（1）在 yarn-site.xml 文件中添加以下配置

<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天=604800秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

（2）重启 Yarn 和 JobHistoryServer

stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

3. 测试

提交一个任务测试如下

一切正常，达到预期。