阿里云上安装伪分布式hadoop
一.主要设计到的点
1 | 安装jdk |
---|---|
2 | ssh免密码登录 |
3 | 安装hadoop |
二.下载适合的jdk版本,根据系统的位数下载,此处是64位的, 下载地址为https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
- 把 jdk-8u201-linux-x64.tar.gz 上传到usr/java
- cd usr/java
- 解压:tar -zxvf jdk-8u201-linux-x64.tar.gz
- 解压出来的文件夹为jdk1.8.0_201/
- 删除jar包 :rm -rf jdk-8u201-linux-x64.tar.gz
- 配置系统文件:vi etc/profile
- 在其尾部添加环境变量
export JAVA_HOME=/usr/lib/java/jdk1.8.0_201
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
然后用java -version 去查看是否安装正确。
三.SSH免登录
-
安装ssh: yum install openssh-clients openssh-server 安装完成后,使用以下命令测试:
ssh localhost 输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题。 -
hadoop是一个分布式系统,节点间通过ssh通信,为了避免在连接过程中人工输入密码,需要进行ssh免key登陆的配置,由于本例是在单机上模拟分布式过程,因此需要针对本机(localhost)进行免key登陆的配置。
依此输入如下命令进行配置:ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys -
验证是否可以免登录:ssh localhost
四。安装hadoop,下载地址为https://hadoop.apache.org/releases.html
我下载的是最新版本
hadoop-2.9.2.tar.gz,直接拿来用的
- mkdir soft上传压缩包到此文件。
- 解压 tar -zxvf hadoop-2.9.2.tar.gz 配置文件
- vi /etc/profile 配置hadoop路径
#配置hadoop home
export HADOOP_HOME=/soft/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
为了是环境变量生效要用:source /etc/profile
此时要修改hadoop的文件信息,主要包括core-site.xml,hdfs-site.xml
cd soft/hadoop-2.9.2/etc/hadoop/
vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
</property>
</configuration>
保存按esc,然后输入:wq! 退出即可
vi hdfs-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
vi mapred-site
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
格式化NameNode:
[root@mater hadoop-2.9.2]# hadoop namenode -format
启动
[root@mater hadoop-2.9.2]# sbin/start-all.sh
查看jps
![在这里插入图片描述](https://img
此时可以打开浏览器
接下来就可以玩一下hadoop喽
- 2761: [JLOI2011]不重复数字(哈希表)
- 1297: [SCOI2009]迷路
- Javascript DOM操作实例
- 2431: [HAOI2009]逆序对数列
- JavaScript实例---表格隔行变色以及移入鼠标高亮
- 1022: [SHOI2008]小约翰的游戏John
- Javascript数组
- 1588: [HNOI2002]营业额统计
- [git]撤销的相关命令:reset、revert、checkout
- Thrift教程初级篇——thrift安装环境变量配置第一个实例
- 1083: [SCOI2005]繁忙的都市
- 1015: [JSOI2008]星球大战starwar
- Tyvj P1813 [JSOI2008]海战训练
- 1820: [JSOI2010]Express Service 快递服务
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Docker镜像原理 aufs overlay overlay2
- Zabbix 5.0 LTS 安装
- 技术博客测试: Elasticsearch
- Oracle基本参数(COMPATIBLE)
- Oracle基本参数(CONTROL_FILES)
- Oracle基本参数(DB_BLOCK_SIZE)
- Oracle基本参数(DB_CREATE_FILE_DEST,DB_CREATE_ONLINE_LOG_DEST_n)
- React16的memo函数有啥用
- 要点2:循环、条件控制
- VSCode代码格式化设置
- MapReduce之MapJoin案例
- MapReduce之多个Job串联的案例
- Java Class文件常量池
- Kubernetes 学习笔记——使用 Heml 安装和使用 OpenFaaS
- 奈学:reaseShared共享式释放锁