MAC安装Hadoop2.8
时间:2022-06-07
本文章向大家介绍MAC安装Hadoop2.8,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
参考官方网站:http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
一、准备条件
1、JDK
Hadoop 需要 Java 版本在1.6或以上, 运行java -version
在你的终端中,它会显示你电脑上安装的Java版本
2、SSH
生成SSH keys
首先确保远程登录(Remote Login)
是打开的,在系统配置(System Preferences)->分享(Sharing)
中可以设置,如果在终端中输入ssh localhost
有返回,则你已经配置好了SSH keys,如果没有,可新建:
ssh-keygen -t rsa -P ""
为了避免每次询问你的密码,可以授权你的公钥到本地:
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
现在应该可以使用SSH在你的电脑上了,执行:
ssh localhost
二、安装
1、安装homebrew
ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)
2、使用brew 进行安装hadoop
brew install hadoop
3、配置环境变量 sudo vim /etc/profile
export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.2
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME:$PATH
4、配置hadoop
①打开目录
cd /usr/local/Cellar/hadoop/XXXXX/libexec/etc/hadoop
②添加下面的行到 hadoop-env.sh
:
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
③添加下面的行到core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/2.8.2/data</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
④添加下面的行到hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
⑤添加下面的行到mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
三、初始化
我们必须格式化新安装的HDFS在我们启动运行后台程序前,格式并创新空的文件系统通过创建存储目录和初始化元数据。进入hadoop安装目录,执行
hadoop namenode -format
四、启动hdfs和yarn
./start-dfs.sh
./start-yarn.sh
五、验证
1、当启动完hdfs以及yarn可以打开浏览器,输入以下地址看是否能进入对应的页面
- 更换Ubuntu源为国内源的操作记录
- Android新手之旅(8) ListView的使用
- CKEditor/CKFinder升级心得
- Docker容器学习梳理-Dockerfile构建镜像
- 再谈web开中几种经典的大文件上传组件
- Nginx负载均衡中后端节点服务器健康检查的操作梳理
- Linux系统下CPU使用(load average)梳理
- 基于组件的.NET技术(5)
- Silverlight与WPF中BeginInvoke的差异
- Linux下部署SSH登录时的二次身份验证环境记录(利用Google Authenticator)
- Linux下DNS简单部署(主从域名服务器)
- 本地yum源部署记录
- silverlight4:摄像头占用状态检测以及二种截屏方法
- Flash/Flex学习笔记(16):如何做自定义Loading加载其它swf
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python爬虫原理
- Zabbix源码安装
- [打造自己的监控系统]使用Django获取Oracle系统状态数据并存放在redis中
- Nginx性能优化
- C# API操作实例
- [打造自己的监控系统]使用pandas处理数据获取Oracle系统状态趋势并格式化为highcharts需要的格式
- tmux-初探
- pyinstaller库打包程序报错解决方法
- 搭建Gitlab
- C# EmguCV图像处理实例
- VSCode配置Python环境指南
- 【Python】Python爬虫爬取中国天气网(一)
- C# semaphore的使用-2
- [打造自己的监控系统]使用Django批量监控Oracle Job运行情况
- C#多线程--信号量(Semaphore)