Hadoop伪分布式安装
1、下载3.1.1
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.1/
2、上传Linux服务器(目录:/usr/local/big_data/hadoop)
tar -zxvf hadoop-3.1.1.tar.gz
3、配置Hadoop环境变量
vim /etc/profile
export HADOOP_HOME=/usr/local/big_data/hadoop/hadoop-3.1.1
PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile
4、配置(http://archive.cloudera.com/cdh5)
core-site.xml
<!-- NameNode URI -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.18.6.107:9000</value>
<description>hdfs://host:port/</description>
</property>
<!-- <property>
<name>io.file.buffer.size</name>
<value>131072</value>
<description>SequenceFiles文件中.读写缓存size设定(该属性值单位为KB,131072KB即为默认的64M)</description>
</property> -->
hdfs-site.xml
<!-- 配置NameNode -->
<property>
<name>dfs.replication</name>
<value>1</value>
<description>分片数量,伪分布式将其配置成1即可</description>
</property>
<!-- <property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/big_data/hadoop/tmp/dfs/namenode</value>
<description>命名空间和事务在本地文件系统永久存储的路径</description>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
<description>大文件系统HDFS块大小为256M,默认值为64M</description>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
<description>更多的NameNode服务器线程处理来自DataNodes的RPCS</description>
</property> -->
<!-- 配置DataNode -->
<!-- <property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/big_data/hadoop/tmp/dfs/datanode</value>
<description>DataNode在本地文件系统中存放块的路径</description>
</property> -->
mapred-site.xml
<!-- 使用哪个环境来进行分布式计算的,默认是local-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml
<!-- 跑什么样的作业 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
1、查看免密码的ssh
ssh localhost
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
2、etc/hadoop/hadoop-env.sh
# 给定 Java 安装的根目录
export JAVA_HOME=/usr/java/latest
# 添加如下环境变量
export HDFS_DATANODE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
3、启动HDFS各个进程
4.1、格式化NameNode(作用: 清空NameNode目录下的所有数据,生成目录结构,初始化一些信息文件
)
./hdfs namenode -format
4.2、启动NameNode、DataNode、SecondaryNameNode
./start-dfs.sh
或
./sbin/hadoop-daemon.sh start namenode
./sbin/hadoop-daemon.sh start datanode
./sbin/hadoop-daemon.sh start secondarynamenode
4.3、访问
9870是http协议的端口号,9000是Rpc tcp协议端口号
- 启动Yarn进程
4.1、启动ResoureManager、NodeManager
./start-yarn.sh
或
./yarn-daemon.sh start resouremanager
./yarn-daemon.sh start nodemanager
4.2、访问
注意:8032是RPC tcp协议端口号,8088是Http协议端口号
- JSP与JavaBeans
- Log4j官方文档翻译(四、如何在java中输出日志消息)
- 展望未来:使用 PostCSS 和 cssnext 书写 CSS
- Java多线程之Runable与Thread
- 关于 devbridge-autocomplete 插件多选操作的实现方法
- node-sass 安装失败的解决措施
- JavaMelody监控SQL
- 关于jboss的线程问题+java.lang.outofmemoryError
- 《了不起的 nodejs》中 TwitterWeb 案例 bug 解决
- java.lang.ClassNotFoundException与java.lang.NoClassDefFoundError的区别
- 【java开发系列】—— Tomcat编译报错
- java.lang.NoClassDefFoundError: org/aopalliance/aop/Advice
- 《像计算机科学家一样思考Java》—— 读后总结
- 记录安装oracle的那些事(三)之oracle Database R2安装
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- matlab机器人工具箱安装与卸载
- 浅谈Linux下修改/设置环境变量JAVA_HOME的方法
- Linux服务器配置多个svn仓库流程详解
- linux服务器显卡崩溃解决方案
- LINUX查看进程的4种方法(小结)
- Linux下的多线程编程实例解析
- CentOS使用expect批量远程执行脚本和命令
- Centos8最小化部署安装OpenStack Ussuri的详细教程
- 详解Xshell 常见问题及相关配置
- linux安装部署ftp图片服务器的实现方法
- Centos7配置fastdfs和nginx分布式文件存储系统实现过程解析
- 解决Linux常用命令“ll”失效或命令未找到的问题
- 手把手教你在腾讯云上搭建hive3.1.2的方法
- centos6超20TB磁盘的分区格式化的示例代码
- Linux 系统双网卡绑定配置实现