谷歌开源的大数据处理项目 Apache Beam

Apache Beam 是什么？

Beam 是一个分布式数据处理框架，谷歌在今年初贡献出来的，是谷歌在大数据处理开源领域的又一个巨大贡献。

数据处理框架已经很多了，怎么又来一个，Beam有什么优势？

就是因为分布式数据处理技术现在太多了，让人目眩，所以Beam要解决这个问题。

大数据处理领域发展得红红火火，新技术不断，有个笑话：

一个程序员抱怨这个框架的API不好用，同事安慰说：别急，再等几分钟就有新框架出来了，应该会更好。

Hadoop MapReduce、Spark、Storm、Flink、Apex ……

每个技术都有自己的一套API，当新框架出来后，发现功能更强大了、性能更好了，想要切换到新框架，那么开发人员就要开始埋头苦学，然后把之前的业务逻辑重写一遍，这个过程低效而痛苦。

Beam的解决思路

1）定义一套统一的编程规范

Beam有一套自己的模型和API，支持多种开发语言。

开发人员选择自己喜欢的语言，按照Beam的规范实现数据处理逻辑。

2）支持各个分布式执行引擎

自动让Beam的代码可以运行在各大计算引擎上。

Beam的思路简单理解就是：

你们都按照我的规范写代码，然后告诉我你想在哪个框架上运行，我就能自动搞定，如果你什么时候想换个框架了，代码不用动，告诉我要换成谁就行了。

Beam 怎么用？

下面通过经典案例wordcount来了解下Beam的用法

创建数据处理管道Pipeline

指定计算引擎，例如使用 Spark

PipelineOptions options = PipelineOptionsFactory.create();
options.setRunner(SparkRunner.class);
Pipeline p = Pipeline.create(options);

读取数据，得到一个集合 PCollection

p.apply(TextIO.Read.from("gs://apache-beam-samples/shakespeare/*"))

对数据集合进行处理，分割语句为单词，形成一个新的数据集合

.apply("ExtractWords", ParDo.of(new DoFn<String, String>() {
    @ProcessElement
    public void processElement(ProcessContext c) {
        for (String word : c.element().split("[^a-zA-Z']+")) {
            if (!word.isEmpty()) {
                c.output(word);
            }
        }
    }
}))

统计单词数量

.apply(Count.<String>perElement())

定义输出格式

.apply("FormatResults", MapElements.via(new SimpleFunction<KV<String, Long>, String>() {
    @Override
    public String apply(KV<String, Long> input) {
        return input.getKey() + ": " + input.getValue();
    }
}))

保存结果数据

.apply(TextIO.Write.to("gs://YOUR_OUTPUT_BUCKET/AND_OUTPUT_PREFIX"));

运行

p.run();

这样就开发完成了，可以看到Beam的开发思路还是很好理解的：

创建一个数据处理的管道，指定从哪儿取数据、一系列的数据处理逻辑、结果输出到哪儿、使用什么计算引擎，然后启动就可以了。

小结

Beam 目前还在孵化阶段，现在支持的开发语言是Java，Python版正在开发，现在支持的计算引擎有 Apex、Spark、Flink、Dataflow，以后会支持更多的开发语言与计算框架。

Beam 的出发点很好，可以一次编码，多引擎平滑迁移，但他的目标有点大，想做成大数据处理的标准，有点难度，希望能 Beam 能顺利发展起来，值得关注。

项目地址

http://beam.apache.org