使用Docker运行hadoop

时间:2022-06-02
本文章向大家介绍使用Docker运行hadoop，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

获取docker镜像

sudo docker pull sequenceiq/hadoop-docker:2.7.0

运行docker容器

sudo docker run -it --name hadoop --rm sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash

运行作业

在上一步命令执行后，我们就进入命令交互模式

# 先看一下是否测试数据已经存在
$ bin/hdfs dfs -ls /user/root/input

# 运行作业
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

# 查看作业执行结果
$ bin/hdfs dfs -cat output/*

# 清空执行结果
$ bin/hdfs dfs -rm output/*
$ bin/hdfs dfs -rmdir output/

随机文章
本站知识点必读
最近更新