Spark RPC 简述

时间:2022-06-07
本文章向大家介绍Spark RPC 简述,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

Spark 中的消息通信主要涉及 RpcEnv、RpcEndpoint 及 RpcEndpointRef 几个类,下面进行简单介绍

RpcEnv、RpcEndpoint 及 RpcEndpointRef

RPCEndpoints 定义了如何处理消息(即,使用哪个函数来处理指定消息),在通过 name 完成注册后,RpcEndpoint 就一直存放在 RpcEnv 中。RpcEndpoint 的生命周期按顺序是 onStartreceiveonStopreceive 可以被同时调用,如果希望 receive 是线程安全的,可以使用 ThreadSafeRpcEndpoint

RpcEndpointRef 是 RpcEnv 中的 RpcEndpoint 的引用,是一个序列化的实体以便于通过网络传送或保存以供之后使用。一个 RpcEndpointRef 有一个地址和名字。可以调用 RpcEndpointRefsend 方法发送异步的单向的消息给对应的 RpcEndpoint

RpcEnv 管理各个 RpcEndpoint 并将发送自 RpcEndpointRef 或远程节点的消息分发给对应的 RpcEndpoint。对于 RpcEnv 没有 catch 到的异常,会通过 RpcCallContext.sendFailure 将该异常发回给消息发送者或记日志

RpcEnvFactory

RpcEnvFactory 是构造 RpcEnv 的工厂类,调用其 create(config: RpcEnvConfig): RpcEnv 会 new 一个 RpcEnv 实例并返回。

Spark 中实现了两种 RpcEnvFactory:

  • org.apache.spark.rpc.netty.NettyRpcEnvFactory 使用 netty
  • org.apache.spark.rpc.akka.AkkaRpcEnvFactory 使用 akka

其中在 Spark 2.0 已经没有了 AkkaRpcEnvFactory,仅保留了 NettyRpcEnvFactory。在 Spark 1.6 中可以通过设置 spark.rpc 值为 netty (默认)来使用 NettyRpcEnvFactory 或设置为 akka 来使用 AkkaRpcEnvFactory,例如:

$ ./bin/spark-shell --conf spark.rpc=netty
$ ./bin/spark-shell --conf spark.rpc=akka

RpcAddress 与 RpcEndpointAddress

RpcAddress 是一个 RpcEnv 的逻辑地址,包含 hostname 和端口,RpcAddress 像 Spark URL 一样编码,比如:spark://host:port。RpcEndpointAddress 是向一个 RpcEnv 注册的 RpcEndpoint 的逻辑地址,包含 RpcAddress 及名字,格式如:spark://[name]@[rpcAddress.host]:[rpcAddress.port]

参考