MapReduce工作笔记——Streaming输出output压缩

时间:2022-07-24
本文章向大家介绍MapReduce工作笔记——Streaming输出output压缩，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

提交job时指定如下参数：

-D mapred.output.compress=true 
-D mapred.output.compression.codec=[CODEC]

其中[CODEC] 有如下几种：

# gz压缩:	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec
# lzo压缩：	
-D mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec
# Bzip2压缩：	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec

随机文章
本站知识点必读
最近更新