Python并发编程之从性能角度来初探并发编程(一)
本文目录
- 并发编程的基本概念
- 单线程VS多线程VS多进程
- 性能对比成果总结
前言
作为进阶系列的一个分支「并发编程
」,我觉得这是每个程序员都应该会的。
并发编程
这个系列,我准备了将近一个星期,从知识点梳理,到思考要举哪些例子才能更加让人容易吃透这些知识点。希望呈现出来的效果真能如想象中的那样,对小白也一样的友好。
昨天大致整理了下,这个系列我大概会讲如下内容(后期可能调整):
对于并发编程,Python的实现,总结了一下,大致有如下三种方法:
- 多线程
- 多进程
- 协程(生成器)
在之后的章节里,将陆陆续续地给大家介绍到这三个知识点。
并发编程的基本概念
在开始讲解理论知识之前,先过一下几个基本概念。虽然咱是进阶教程,但我也希望写得更小白,更通俗易懂。
串行
:一个人在同一时间段只能干一件事,譬如吃完饭才能看电视;并行
:一个人在同一时间段可以干多件事,譬如可以边吃饭边看电视;
在Python中,多线程
和 协程
虽然是严格上来说是串行,但却比一般的串行程序执行效率高得很。
一般的串行程序,在程序阻塞的时候,只能干等着,不能去做其他事。就好像,电视上播完正剧,进入广告时间,我们却不能去趁广告时间是吃个饭。对于程序来说,这样做显然是效率极低的,是不合理的。
当然,学完这个课程后,我们就懂得,利用广告时间去做其他事,灵活安排时间。这也是我们多线程
和协程
要帮我们要完成的事情,内部合理调度任务,使得程序效率最大化。
虽然 多线程
和 协程
已经相当智能了。但还是不够高效,最高效的应该是一心多用,边看电视边吃饭边聊天。这就是我们的 多进程
才能做的事了。
为了更帮助大家更加直观的理解,在网上找到两张图,来生动形象的解释了多线程和多进程的区别。(侵删)
多线程
,交替执行,另一种意义上的串行。
多线程
多进程
,并行执行,真正意义上的并发。
多进程
单线程VS多线程VS多进程
文字总是苍白无力的,千言万语不如几行代码来得孔武有力。
首先,我的实验环境配置如下
接下来,让我们一起用代码来测试一下,单线程、多线程、多进程到底性能差多少呢?
注意
以下代码,若要理解,对新手有如下知识点要求:
- 1. 装饰器的运用
- 2. 多线程的基本使用
- 3. 多进程的基本使用
当然,看不懂也没关系,主要最后的结论,能让大家对单线程、多线程、多进程在实现效果上有个大体清晰的认识,达到这个二手买号地图效果,本文的使命也就完成了,等到最后,学完整个系列,不妨再回头来理解也许会有更深刻的理解。
下面我们来看看,单线程,多线程和多进程,在运行中究竟孰强孰弱。
开始对比之前,首先定义四种类型的场景
- CPU计算密集型
- 磁盘IO密集型
- 网络IO密集型
- 「模拟」IO密集型
为什么是这几种场景,这和多线程
多进程
的适用场景有关。结论里,我再说明。
比拼的指标,我们用时间来考量。时间耗费得越少,说明效率越高。
为了方便,使得代码看起来,更加简洁,我这里先定义是一个简单的 时间计时器
的装饰器。
如果你对装饰器还不是很了解,也没关系,你只要知道它是用于 计算函数运行时间的东西就可以了。
第一步,先来看看单线程的
看看结果
【单线程】-CPU计算密集型花费时间:83.42633867263794秒
【单线程】-磁盘IO密集型花费时间:15.641993284225464秒
【单线程】-网络IO密集型花费时间:1.1397218704223633秒
【单线程】-模拟IO密集型花费时间:20.020972728729248秒
第二步,再来看看多线程的
看看结果
【多线程】-CPU计算密集型花费时间:93.82986998558044秒
【多线程】-磁盘IO密集型花费时间:13.270896911621094秒
【多线程】-网络IO密集型花费时间:0.1828296184539795秒
【多线程】-模拟IO密集型花费时间:2.0288875102996826秒
第三步,最后来看看多进程
看看结果
【多进程】-CPU计算密集型花费时间:9.082211017608643秒
【多进程】-磁盘IO密集型花费时间:1.287339448928833秒
【多进程】-网络IO密集型花费时间:0.13074755668640137秒
【多进程】-模拟IO密集型花费时间:2.0076842308044434秒
性能对比成果总结
将结果汇总一下,制成表格。
我们来分析下这个表格。
首先是CPU密集型
,多线程以对比单线程,不仅没有优势,显然还由于要不断的加锁释放GIL全局锁,切换线程而耗费大量时间,效率低下,而多进程,由于是多个CPU同时进行计算工作,相当于十个人做一个人的作业,显然效率是成倍增长的。
然后是IO密集型,IO密集型
可以是磁盘IO
,网络IO
,数据库IO
等,都属于同一类,计算量很小,主要是IO等待时间的浪费。通过观察,可以发现,我们磁盘IO,网络IO的数据,多线程对比单线程也没体现出很大的优势来。这是由于我们程序的的IO任务不够繁重,所以优势不够明显。
所以我还加了一个「模拟IO密集型
」,用sleep
来模拟IO等待时间,就是为了体现出多线程的优势,也能让大家更加直观的理解多线程的工作过程。单线程需要每个线程都要sleep(2)
,10个线程就是20s
,而多线程,在sleep(2)
的时候,会切换到其他线程,使得10个线程同时sleep(2)
,最终10个线程也就只有2s
。
可以得出以下几点结论
- 单线程总是最慢的,多进程总是最快的;
- 多线程适合在IO密集场景下使用,譬如爬虫,网站开发等;
- 多进程适合在对CPU计算运算要求较高的场景下使用,譬如大数据分析,机器学习等;
- 多进程虽然总是最快的,但是不一定是最优的选择,因为它需要CPU资源支持下才能体现优势。
好了,今天第一篇文章,就写到这里,不知道你对Python的并发编程有没有一点了解了呢?
原文地址:https://www.cnblogs.com/qiucunxin/p/15383273.html
- Java数据结构和算法(十五)——无权无向图
- Java数据结构和算法(十三)——哈希表
- Java数据结构和算法(十二)——2-3-4树
- UDF编程操作实现
- GitHub敏感信息扫描工具
- Java数据结构和算法(九)——高级排序
- Java数据结构和算法(十一)——红黑树
- Entity Framework Core 之数据库迁移
- 常见Web源码泄露总结
- 浅析Entity Framework Core2.0的日志记录与动态查询条件
- ASP.NET Core中使用IOC三部曲(三.采用替换后的Autofac来实现AOP拦截)
- 【weakfilescan】敏感文件扫描工具
- ASP.NET Core中使用IOC三部曲(二.采用Autofac来替换IOC容器,并实现属性注入)
- ASP.NET Core中使用IOC三部曲(一.使用ASP.NET Core自带的IOC容器)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 学长冷月带你怒刷LeetCode之反转链表
- php面试笔记-php基础知识-变量和引用变量
- 【STM32F429开发板用户手册】第34章 STM32F429的SPI总线应用之驱动DAC8501
- docker 安装mysql5.7
- php面试笔记(5)-php基础知识-自定义函数及内部函数考点
- AJAX的一个简单实例,跨域的解决,使用JQuery来进行ajax的调用
- ASP.NET Core 将文件夹内容输出为压缩包文件方法
- 如何阻止指定类型的SAP CRM附件被上传到服务器
- Docker 之NameSpace与Cgroup
- 微信网页扫码登录和公众号网页授权登录的比较
- 【TBase开源版测评】分布式数据库复制表关联查询
- v-decorator的取值与赋值
- fastjson导致spring security oauth2的token序列化错误
- 微信小程序webview,a锚点跳转,回退时一直保留在原页面
- SLURM使用教程