ubuntu中配置hadoop
单机模式部署
一、Jdk安装
命令:sudo apt-get install openjdk-6-jdk
目录:/usr/lib/jvm/java-6-openjdk
配置环境变量:
sudo gedit /etc/environment
在其中添加如下两行:
CLASSPATH=./:/usr/lib/jvm/java-6-openjdk/lib
JAVA_HOME=/usr/lib/jvm/java-6-openjdk
PATH添加::/usr/lib/jvm/java-6-openjdk
二、新增hadoop用户
命令:sudo addgroup hadoop1001
sudo adduser --ingroup hadoop hadoop
sudo gedit etc/sudoers
添加配置:
在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL使hadoop用户具有root权限
(id:查看用户)
三、ssh配置
用hadoop账户进行登录。
安装openssh-server:sudo apt-get install openssh-server
建立SSH KEY:ssh-keygen -t rsa --P ""
启用SSH KEY:cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
sudo /etc/init.d/ssh reload
验证SSH的配置:ssh localhost
四、安装hadoop并更改用户所有权
我们采用的Hadoop版本是最新的Hadoop-0.20.2,可到Apache基金会官方主页下载http://www.apache.org/dyn/closer.cgi/hadoop/core,然后使用tar或直接解压到/home/hadoop下,解压后得到一个hadoop-0.20.2的一个文件夹。
安装目录:/usr/local/hadoop
更改所有权:chown -R hadoop:hadoop hadoop
五、配置hadoop
(1)配置$HADOOP_HOME/conf/hadoop-env.sh
切换到Hadoop的安装路径找到hadoop-0.20.2下的conf/hadoop-env.sh文件
将:# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
改为:export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
(2) 配置$HADOOP_HOME/conf/core-site.xml
切换到Hadoop的安装路径找到hadoop-0.20.2下的conf/core-site.xml文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
-- 配置第二名称节点
<property>
<name>fs.checkpoint.dir</name>
<value>{}/home/hadoop/secondname</value>
</property>
-- 设置回收站保留时间
<property>
<name>fs.trash.interval</name>
<value>10080</value>
<description>
Number of minutes between trash checkpoints. If zero, the trash feature is disabled
</description>
</property>
</configuration>
(3) 配置$HADOOP_HOME/conf/hdfs-site.xml
切换到Hadoop的安装路径找到hadoop-0.20.2下的conf/hdfs-site.xml文件内容如下:
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
-- NameNode HTTP状态监视地址
<property>
<name>dfs.http.address</name>
<value>localhost:50070</value>
</property>
-- SecondaryNameNode HTTP状态监视地址
<property>
<name>dfs.secondary.http.address</name>
<value>localhost2:50070</value>
</property>
</configuration>
(4) 配置$HADOOP_HOME/conf/mapred-site.xml
切换到hadoop的安装路径找到hadoop-0.20.2下的conf/mapred-site.xml文件内容如下:
<configuration>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/temp</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
-- 每个job的map任务数
<property>
<name>mapred.map.tasks</name>
<value>7</value>
</property>
-- 每一个tasktracker同时运行的map任务数为2
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
-- 每一个tasktracker同时运行的reduce任务数为4
<property>
<name>mapred.tasktracker.reduce.tasks.maximum
</name>
<value>4</value>
</property>
-- jvm虚拟机最大内存
<property>
<name>mapred.child.java.opts</name>
<value>-XX:-UseGCOverheadLimit</value>
</property>
</configuration>
六、格式化namenode
命令:bin/hadoop namenode -format
七、启动及验证
命令:./bin/start-all.sh
验证方法1:jps
验证方法2:bin/hadoop dfsadmin -report
八:运行Wordcount
1.准备工作
准备两个文本文件并拷贝到dfs里,具体命令操作如下:
$ echo "hello hadoop world." > /tmp/test_file1.txt
$ echo "hello world hadoop.i'm ceshiuser." > /tmp/test_file2.txt
$ bin/hadoop dfs -mkdir test-in
$ bin/hadoop dfs -copyFromLocal /tmp/test*.txt test-in
--$ bin/hadoop dfs -put /tmp/test*.txt test-in
--$ bin/hadoop dfs -copyToLocal test-out /tmp/test*.txt
--$ bin/hadoop dfs -get test-out /tmp/test*.txt
$ bin/hadoop dfs -ls test-in
2.运行
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount test-in test-out
--% ln -s /home/hadoop/junyu-hadoop/hadoop-iflytek-tempcount.jar tempcount
3.查看结果
$ bin/hadoop dfs -ls test-out
$ bin/hadoop dfs -cat test-out/part-r-00000
分布式部署:
一,修改/etc/hosts文件:
192.168.71.89 node0
192.168.77.213 node1
二,ssh配置
(1)使用scp 命令把生成的公钥传给其它服务器,并保存成不同的名字,如192.168.71.89 -> 192.168.77.213 ,并且保存为89_id_rsa.pub 的时候命令如下:
scp id_rsa.pub hadoop@192.168.77.213:/home/hadoop/.ssh/89_id_rsa.pub
(2) 登录192.168.77.213 ,可以远程登录:ssh hadoop@192.168.77.213,进入当前用户默认目录下的.ssh 目录:cd ~/.ssh
(3) 把公钥内容添加到登录认证文件中:cat 89_id_rsa.pub >> authorized_keys
(4) 登录到192.168.71.89 主机,使用ssh hadoop@192.168.77.213 进行连接213 主机,这时候会出现输入yes/no? 的提示,输入yes。
三,配置hadoop文件。目录:/usr/local/hadoop/conf/
conf/masters :192.168.71.89
conf/slaves :192.168.77.213
修改 core-site.xml 文件
<name>fs.default.name</name>
<value>hdfs://192.168.71.89:9000/</value>
修改 hdfs-site.xml 文件
1:<name>dfs.http.address</name>
<value>192.168.71.89:50070</value>
2:<name>dfs.secondary.http.address</name>
<value>192.168.71.213:50070</value>
修改mapred-site.xml文件
<name>mapred.job.tracker</name>
<value>192.168.71.89:9001</value>
- PHP 安全与性能
- Linux 系统与数据库安全
- 运维必备技能 WEB 日志分析
- Elasticsearch 一键安装含中文分词
- Session 的 Cookie 域处理(多域名虚拟主机)
- ElasticSearch + Logstash + Kibana 日志采集
- ElasticSearch + Logstash + Kibana 一键安装
- Oracle 表空间管理
- 数据加密字段加密
- 《Netkiller Virtualization 手札》Docker 卷管理
- PHP高级编程之守护进程
- Spring boot with Docker
- Spring boot with Service
- Spring boot with PostgreSQL
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- SpringCloud2020 学习笔记(十)cloud-eureka-server7001 cloud-eureka-server7002 Eureka集群安装
- Python爬虫之抓取某东苹果手机评价
- python学习笔记
- 必看!!!python列表( 增 删 改 查),超详细讲解!!
- Python识别验证码
- 多线程爪巴虫下载进击的巨人
- 利用selenium实现自动翻页爬取某鱼数据
- 20行Python代码爬取下载应用宝所有APP软件
- 爬虫 -- 天天基金网数据简单爬取
- python爬虫-唯品会商品信息实战步骤详解
- go框架中使用CGO,docker build image打包镜像注意事项
- python爬虫汽车之家全车型及基本参数入数据库(截止50524个数据)(详解)
- C语言最全入门笔记
- 如何实现oVirt与Tungsten Fabric的集成
- 一文让你学完C++,干货收藏!!!