Spark RPC 简述
Spark 中的消息通信主要涉及 RpcEnv、RpcEndpoint 及 RpcEndpointRef 几个类,下面进行简单介绍
RpcEnv、RpcEndpoint 及 RpcEndpointRef
RPCEndpoints 定义了如何处理消息(即,使用哪个函数来处理指定消息),在通过 name 完成注册后,RpcEndpoint 就一直存放在 RpcEnv 中。RpcEndpoint 的生命周期按顺序是 onStart
,receive
及 onStop
,receive
可以被同时调用,如果希望 receive
是线程安全的,可以使用 ThreadSafeRpcEndpoint
RpcEndpointRef
是 RpcEnv 中的 RpcEndpoint 的引用,是一个序列化的实体以便于通过网络传送或保存以供之后使用。一个 RpcEndpointRef 有一个地址和名字。可以调用 RpcEndpointRef
的 send
方法发送异步的单向的消息给对应的 RpcEndpoint
RpcEnv 管理各个 RpcEndpoint 并将发送自 RpcEndpointRef 或远程节点的消息分发给对应的 RpcEndpoint。对于 RpcEnv 没有 catch 到的异常,会通过 RpcCallContext.sendFailure
将该异常发回给消息发送者或记日志
RpcEnvFactory
RpcEnvFactory 是构造 RpcEnv 的工厂类,调用其 create(config: RpcEnvConfig): RpcEnv
会 new 一个 RpcEnv 实例并返回。
Spark 中实现了两种 RpcEnvFactory:
-
org.apache.spark.rpc.netty.NettyRpcEnvFactory
使用netty
-
org.apache.spark.rpc.akka.AkkaRpcEnvFactory
使用akka
其中在 Spark 2.0 已经没有了 AkkaRpcEnvFactory
,仅保留了 NettyRpcEnvFactory
。在 Spark 1.6 中可以通过设置 spark.rpc
值为 netty
(默认)来使用 NettyRpcEnvFactory
或设置为 akka
来使用 AkkaRpcEnvFactory
,例如:
$ ./bin/spark-shell --conf spark.rpc=netty
$ ./bin/spark-shell --conf spark.rpc=akka
RpcAddress 与 RpcEndpointAddress
RpcAddress 是一个 RpcEnv 的逻辑地址,包含 hostname 和端口,RpcAddress 像 Spark URL 一样编码,比如:spark://host:port
。RpcEndpointAddress 是向一个 RpcEnv 注册的 RpcEndpoint 的逻辑地址,包含 RpcAddress 及名字,格式如:spark://[name]@[rpcAddress.host]:[rpcAddress.port]
参考
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法