Python自学成才之路 多线程开发
1.创建线程 Python中提供了threading模块来创建线程,创建方式有两种。
1)直接通过threading.Thread来创建
import threading
def singing():
print(threading.currentThread().name + " - 正在唱歌 ")
def dancing():
print(threading.currentThread().name + " - 正在跳舞 ")
if __name__ == '__main__':
t1 = threading.Thread(target=singing)
t2 = threading.Thread(target=dancing)
t1.start()
t2.start()
输出:
Thread-1 - 正在唱歌
Thread-2 - 正在跳舞
2)过继承threading.Thread来创建
import threading
class Sing(threading.Thread):
def run(self):
print(threading.currentThread().name + " - 正在唱歌 ")
class Dance(threading.Thread):
def run(self):
print(threading.currentThread().name + " - 正在跳舞 ")
if __name__ == '__main__':
t1 = Sing()
t2 = Dance()
t1.start()
t2.start()
输出:
Thread-1 - 正在唱歌
Thread-2 - 正在跳舞
2.线程池的使用 ThreadPoolExecutor提供了线程池的功能
from concurrent.futures import ThreadPoolExecutor
import time
def download(url):
print("url = %s , downloading..."%url)
time.sleep(3)
return 'success'
# 通过max_workers指定线程池同时能执行的最大线程数
executor = ThreadPoolExecutor(max_workers=2)
task1 = executor.submit(download, 'www.xxx.com')
task2 = executor.submit(download, 'www.yyy.com')
# 会被阻塞
print(task1.result())
print(task2.result())
输出:
url = www.xxx.com , downloading...
url = www.yyy.com , downloading...
success
success
executor通过submit能立即将任务提交到线程池中,通过task获取任务结果会被阻塞,直到任务执行完之后才能获取到任务返回结果。ThreadPoolExecutor提供了is_done方法来判断线程是否执行完,但是一直判断也不合适,ThreadPoolExecutor又提供了一个as_completed方法一次获取所有执行完的线程。
from concurrent.futures import ThreadPoolExecutor, as_completed
import time
def download(url):
print("url = %s , downloading..."%url)
time.sleep(3)
return 'success'
executor = ThreadPoolExecutor(max_workers=2)
all_task = [executor.submit(download, 'www.xxx.com-' + str(i)) for i in range(5)]
for future in as_completed(all_task):
data = future.result()
print(data)
输出:
url = www.xxx.com-0 , downloading...
url = www.xxx.com-1 , downloading...
url = www.xxx.com-2 , downloading...
url = www.xxx.com-3 , downloading...
success
success
url = www.xxx.com-4 , downloading...
success
success
success
小技能daemon提示 daemon和守护线程这方面知识有关, 比如在启动线程前设置thread.setDaemon(True),就是设置该线程为守护线程,表示该线程是不重要的,进程退出时不需要等待这个线程执行完成。这样做的意义在于:避免子线程无限死循环,导致退不出程序。
thread.setDaemo()设置为True, 则主线程执行完毕后会将子线程回收掉,设置为false,主进程执行结束时不会回收子线程
setDaemon()说明 setDaemon() :设置此线程是否被主线程守护回收。默认False不回收,需要在 start 方法前调用;设为True相当于像主线程中注册守护,主线程结束时会将其一并回收。
3.自定义一个线程池 线程池内部实际上也是通过一个个的线程来执行提交的任务,基于此原理可以通过queue来实现一个自定义的线程池。
from multiprocessing import JoinableQueue
import threading
import time
queue = JoinableQueue()
class MyTask():
def __init__(self, name):
self.name = name
def do(self):
print('this is %s'%self.name)
def do_job():
while True:
task = queue.get()
time.sleep(1)
task.do()
queue.task_done()
if __name__ == '__main__':
for i in range(3):
t = threading.Thread(target=do_job)
t.daemon = True
t.start()
time.sleep(3)
for i in range(10):
queue.put(MyTask('myTask - '+ str(i)))
queue.join()
输出:
this is myTask - 0
this is myTask - 2
this is myTask - 1
this is myTask - 5
this is myTask - 3
this is myTask - 4
this is myTask - 6
this is myTask - 7
this is myTask - 8
this is myTask - 9
程序中通过定义三个线程一直循环去获取队列里面的任务,并执行。执行完之后通过queue.task_done()表示当前任务执行完。直到把队列里面的任务都执行完,主进程结束,由于三个任务线程设置为了守护线程,也会随着主进程的结束而结束。
- python爬虫人门(10)Scrapy框架之Downloader Middlewares
- 11.python线程
- Numpy 修炼之道 (8)—— 常用函数
- Numpy 修炼之道 (7)—— 形状操作
- 洛谷P3391 【模板】文艺平衡树(Splay)(FHQ Treap)
- 12.python进程协程异步IO
- POJ3622 Gourmet Grazers(FHQ Treap)
- 洛谷P3201 [HNOI2009]梦幻布丁
- 洛谷P3374 【模板】树状数组 1(CDQ分治)
- 自然语言处理基础知识1. 分词(Word Cut)2. 词性标注(POS Tag)3.自动标注4.文本分类5.评估6.从文本提取信息7.分析句子结构《python自然语言处理》各章总结:
- 洛谷P3384 【模板】树链剖分
- 洛谷P2147 [SDOI2008]Cave 洞穴勘测
- linux基础
- 洛谷P3178 [HAOI2015]树上操作
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- linux 网络编程 socket选项的实现
- Ubuntu16.04安装Jenkins的方法图文详解
- leetcode树之对称二叉树
- linux 上在指定时间段内每隔多少分钟自动执行任务计划crontab
- 详解如何使用Spark和Scala分析Apache访问日志
- Centos 7.4中的远程访问控制的实现方法
- Linux查找特定程序whereis实例详解
- SpringBoot实战(二):SpringMvc接收xml请求
- CentOS环境下安装PHPUnit的方法分析
- Centos下安装Ansible的示例代码
- ubuntu18.04安装搜狗拼音的简易教程
- linux中$符号的基础用法总结
- Linux下的 mariadb 使用 root 用户启动方式(推荐)
- window与linux项目部署之linux文件路径不存在问题
- Ubuntu 18.04安装 pyenv、pyenv-virtualenv、virtualenv、Numpy、SciPy、Pillow、Matplotlib