Flink的部署方式概述

时间:2018-12-25
本文章向大家介绍Flink的部署方式概述,主要包括Flink的部署方式概述使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
Flink官方网站介绍了N种部署方式。在国内基本不会使用AWS、Google computer engine 和MapR,在实际开发测试和生产中多数还是需要自己部署。
  随着运维模式的发展变化,docker和kubernetes成为新时代的事实标准,基于Mesos的部署方式会变少。
下面对自己部署的情况概述下,说明下什么情况使用什么模式。

local模式:适用于本地开发和测试环境,占用的资源较少,部署简单 ,只需要部署JDK和flink即可达到功能开发和测试的目的。只需要一台主机即可。

standalone cluster:可以在测试环境功能验证完毕到版本发布的时候使用,进行性能验证。搭建需要ssh
jdk和flink。至少需要3台主机,一个master两个worker节点。

YARN:flink使用YARN进行调度。

Hadoop Integration:和hadoop生态进行整合,可以借用HDFS、YARN的功能,是用于整个大数据环境都用Hadoop全家桶的环境。

Docker: 在开发测试使用,docker方式很容易搭建。推荐的方式。

kubernetes:由于FLink使用的无状态模式,只需要kubernetes提供计算资源即可。会是Flink以后运行的主流方式,可以起到节约硬件资源和便于管理的效果。

HA模式:
现在主流的方式有standalone cluster HA 和YARN cluster HA方式,适用于在生产上部署。
standalone cluster HA:
需要JDK、ssh、zookeeper HA、flink构建,至少需要三个物理机。

YARN cluster HA:
需要JDK、ssh、zookeeper HA、Hadoop HA、flink,需要更多的资源。

若flink运行于k8s则可以借助于kubernetes的集群提供高可用,充分的利用资源。

当前大部分公司还是将Flink运行在物理机上。