thrift例子:python客户端/java服务端
时间:2022-05-02
本文章向大家介绍thrift例子:python客户端/java服务端,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
java服务端的代码请看上文。
1、说明:
这两篇文章其实解决的问题是,当使用python去访问大数据线上集群的时候,遇到两个问题:
1)python-hadoop和python-hive相关包链接不稳定,表现为经常出现链接超时;
2)如果使用fork进程执行hadoop fs或者hive -e的方式则消耗大量的机器资源,包括进程资源和集群链接资源。
我们的解决方式是写一个java的代理服务,使用java-hadoop封装了对集群的操作,通过thrift提供接口给python程序。
2、编译.thrfit
thrift -gen py jazz.thrift
jazz.thrift内容如下
namespace java com.xiaoju.dqa.jazz.iface
service JazzService{
bool exists(1:string path)
}
会生成python的package gen-py,将它拷贝到你的工程中。
3、python客户端
你需要安装python的thrift支持。
pip install thrift
python客户端的代码如下:
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import sys
sys.path.append('./gen-py')
import traceback
from jazz import JazzService #引入客户端类
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol, TCompactProtocol
try:
#建立socket
transport = TSocket.TSocket('localhost', 9090)
#选择传输层,和服务端一致
# transport = TTransport.TFramedTransport(transport)
# transport = TTransport.TFramedTransportFactory().getTransport(socket)
#选择传输协议,和服务端一致
transport = TTransport.TBufferedTransport(transport)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
#protocol = TCompactProtocol.TCompactProtocol(transport)
#创建客户端
client = JazzService.Client(protocol)
transport.open()
is_exists = client.exists("/home/.../...")
print is_exists
#关闭传输
transport.close()
#捕获异常
except Thrift.TException, ex:
traceback.print_exc()
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- MySQL 日期时间类型怎么选?千万不要乱用!
- InnoDB存储引擎简介
- git改错分支的补救方法:git stash暂存
- 快速学习-Skywalking原理
- 快速学习-Skywalking常用插件
- 快速学习-Skywalking-MySql调用监控
- 我为何弃用Jetpack的App Startup?
- 快速学习-Skywalking的RPC调用-Dubbo的最佳实践
- Spring Cloud Gateway开发的几个要点
- 快速学习-Skywalking告警功能
- 使用Node.js实现一个express框架
- 快速学习-skywalking入门
- ts7053的另一种解法
- 三分钟读懂Softmax函数
- Docker 容器分离部署LNMP架构