Hadoop之2.x 搭建
时间:2021-09-17
本文章向大家介绍Hadoop之2.x 搭建,主要包括Hadoop之2.x 搭建使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
- 上传hadoop安装包 上传到msater的/usr/local/soft/
- hadoop-2.7.6.tar.gz
- 解压
- tar -xvf hadoop-2.7.6.tar.gz
- 配置环境变量
- vim /etc/profile
- 增加hadoop环境变量,将bin和sbin都配置到PATh中
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- source /etc/profile
- 修改配置文件
- hadoop 配置文件在/usr/local/soft/hadoop-2.7.6/etc/hadoop/
- cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/
- slaves : 从节点列表(datanode)
- vim slaves
- 增加node1, node2 (你自己的从机名称)
- hadoop-env.sh : Hadoop 环境配置文件
- vim hadoop-env.sh
- 修改JAVA_HOME (你自己的JAVA路径)
- vim hadoop-env.sh
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
- core-site.xml : hadoop核心配置文件
- vim core-site.xml
- 在configuration中间增加以下内容
- vim core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/soft/hadoop-2.7.6/tmp</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property>
- hdfs-site.xml : hdfs配置文件
- vim hdfs-site.xml
- 在configuration中间增加以下内容
- vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
- yarn-site.xml: yarn配置文件
- vim yarn-site.xml
- 在configuration中间增加以下内容
- vim yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
- mapred-site.xml: mapreduce配置文件
- 重命名
- mv mapred-site.xml.template mapred-site.xml
- vim mapred-site.xml
- 在configuration中间增加以下内容
- 重命名
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>
- 将hadoop安装文件同步到子节点
- scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/
- scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft/
- scp -r /etc/profile node1:/etc/profile
- scp -r /etc/profile node2:/etc/profile
- 格式化namenode
- cd /usr/local/soft/hadoop-2.7.6/bin
- ./hdfs namenode -format
- 启动hadoop
- start-all.sh
- 访问hdfs页面验证是否安装成功
- http://master:50070
- 如果安装失败
- stop-all.sh
- 再次重启的时候
- 需要手动将每个节点的tmp目录删除: 所有节点都要删除
- rm -rf /usr/local/soft/hadoop-2.7.6/tmp
- 然后执行将namenode格式化
- 在主节点执行命令:
- hdfs namenode -format
- 启动hadoop
- start-all.sh
原文地址:https://www.cnblogs.com/Xinyi-bigdata/p/15305252.html
- Havex:以工控设备为狩猎目标的恶意软件
- 大规模异常滥用检测:基于局部敏感哈希算法——来自Uber Engineering的实践
- 浅谈php安全
- 在统一的分析平台上构建复杂的数据管道
- 隐藏在注册表的恶意软件 – Poweliks
- 数千万WordPress和Drupal站点存在DDoS风险
- 利用基因突变和K均值预测地区种群
- 缓冲区溢出攻击初学者手册(更新版)
- 在Python机器学习中如何索引、切片和重塑NumPy数组
- HelloWorld,我的第一趟旅程出发点
- Android OpenGL开发实践 - GLSurfaceView对摄像头数据的再处理
- 走进科学:对七夕“超级病毒”XX神器的逆向分析
- 机器学习 - 朴素贝叶斯分类器的意见和文本挖掘
- 认知指纹:颠覆性的身份认证技术
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python虚拟环境安装与配置
- 2019 年第十届蓝桥杯省赛 B组 C++超详细题解
- 五. css 布局之 position(定位)
- 【译】Rust与智能指针
- 根据坐标在基因组上面拿到碱基序列来设计引物
- 18款Webpack插件,总会有你想要的!
- Linux下如何查看硬件信息?
- 最通俗易懂的一篇文章了解JVM、JRE、JDK的关系是什么?
- 六. CSS 样式补充之 font & background
- 七 .Html的表格
- rollup + typescript 构建 ts 包
- node 写爬虫,原来这么简单
- 计时器 hook
- 自定义eslint 配置包
- 【61期】MySQL行锁和表锁的含义及区别(MySQL面试第四弹)