python kafka多线程消费数据
时间:2021-08-11
本文章向大家介绍python kafka多线程消费数据,主要包括python kafka多线程消费数据使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
1、打印每个线程id,满足预期,开启了8个线程,每个线程号都不一样;
2、查看kafka状态,也能满足预期,每个分区的消费者id都是不一样的,下面第二个图是开启一个消费者时的状态,每个分区的消费者id都是相同的;对比之下能满足需求;
3、相关代码如下:
from kafka import KafkaConsumer import time, threading from concurrent.futures import ThreadPoolExecutor class ThreadKafka(object): def __init__(self): self.threadPool = ThreadPoolExecutor(max_workers=8, thread_name_prefix="threading_") self.hosts = ["ip:port", "ip:port", "ip:port"] def operate(self): consumer = KafkaConsumer("topic_name", bootstrap_servers=self.hosts, group_id="group_id_name") print(threading.current_thread().name) for i in consumer: print(i) time.sleep(1) def main(self): for i in range(8): self.threadPool.submit(self.operate, ) if __name__ == '__main__': cla = ThreadKafka() cla.main()
原文地址:https://www.cnblogs.com/qiaoer1993/p/15128595.html
- js获取url参数的方法
- JavaScript操作符(关系操作符、相等操作符和条件操作符)
- javascript运动功能-分享到
- SQL Server 2008 geometry 数据类型
- JavaScript基本类型与引用类型
- JavaScript函数
- JavaScript操作符(一元操作符、位操作符)
- JavaScript变量和数据类型
- SpringMvc学习-增删改查
- JavaScript操作符(布尔操作符、乘性操作符和加性操作符)
- JavaScript语句-流程控制语句
- SpringMvc学习-环境搭建
- 浅谈JavaScript的面向对象程序设计(一)
- 浅谈JavaScript的面向对象程序设计(二)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- MySQL8.0的binlog详解
- Flutter NestedScrollView实现的一个经典滑动折叠头部图片的效果
- Maven 编译拷贝资源的时候提示 UTF-8 编码信息
- Qt音视频开发30-Onvif事件订阅
- 干掉 Navicat:正版,MySQL 官方客户端真香!
- CentOS 搭建 K8S 环境教程,一次性成功,收藏了!
- IDEA 真香!找出全部未被使用的代码只用了 2 秒钟!
- ArrayList 插入 1000w 条数据之后,我怀疑了 Java 虚拟机。。。
- 本地存储应用案例 ToDoList
- jQuery 插件
- 本周AI热点回顾:RTX3080被黄牛炒上天;百度资本助力AI 制药,已有十几位博士加入;百度联手打造AI沉浸互动展中国首秀
- 线段树
- 乘法表中第k小的数
- 数据可视化 | Pandas vs Plotnine
- laravel里使用chunk的一个坑