Hadoop和Zookeeper安装过程中出现的问题解决

概述

我最近在搭建一套大数据生态系统，安装分布式Hadoop和Zookeeper时出现了一些问题。我的分布式环境是由三个节点构成的，分比为：master，slave1和slave2。安装过程在后面文章里面列出来，这里记录一些安装之后启动Hadoop和Zookeeper出现的问题。

问题一

Hadoop2.2.0 不能访问站点http://master:8088 1.可能由于安装的资源管理器正在运行，通过资源管理器占用使用TCP6代替TCP。这样的话可以通过两种方式来解决它：

• 在linux上禁用IPV6，然后重启yarn服务。
• 在master节点修改yarn-site.xml增加如下内容，<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <configuration>

不要修改其它slave节点的yarn-site.xml,修改完后重启服务。 2.也可以通过0.0.0.0来代替hostname.

<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>

问题二

在安装完zookeeper时，启动zookeeper会出现java.net.ConnectException: Connection refused错误。我通过改变master的如下配置的：

server.1=0.0.0.0:2888:3888
server.2=192.168.10.10:2888:3888
server.3=192.168.2.1:2888:3888

如果你基于公开地址发布IP，然后监听端口失败，必须指定当前端口为：0.0.0.0。