Python 多进程和多线程在加速程序运行上的差别

起因是在处理一个需要大量计算且批量生成文件的程序时,使用多线程的方法处理计算任务加速效果不理想,后来采用了多进程的方式加速效果很好,所以花点时间探究一下两者之间的区别。

目录

1. 多线程(multi-thread)

2. 多进程(multi-processor)

3. 实例说明


1. 多线程(multi-thread)

因为受到python爬虫一类的程序影响,加速首先想到的是多线程。对于爬虫这种IO密集型的程序来说,确实是多线程在加速方面有更好的表现。IO密集型指的是系统运作大部分的情况是CPU在等 I/O(硬盘/内存/网络等等)的读/写操作,这时候CPU的占用率是非常低的(这也是多进程加速表现不明显的原因)。多线程实现的本质是cpu的并发执行,并发执行其实就是cpu轮流执行不同的任务。对于IO密集型,CPU占用率低,一个任务执行后需要CPU一直等待,如果使用多线程对程序进行并发执行,那么CPU在原本等待的时间就可以执行其他任务,进而加速程序的执行。

2. 多进程(multi-process)

如果一个任务IO的占用时间很少,但CPU的占用率非常高,那么就不适合用多线程来加速了(甚至可能让程序变得更慢)。多进程在这种任务上的加速效果就非常明显,本质上是CPU的并行执行。并行执行主要是利用CPU的多个核心处理器,如果CPU只有单核,那么则无法并行执行。可以理解成,对于CPU密集型,多进程调用CPU的多个核心处理器,同时处理计算任务,加快程序的执行。

3. 实例说明

import time
import threading
from multiprocessing import Process, Pool

def calculation(n):
    for i in range(0, n):
        for j in range(0, n*n):
            t = i*j


def thread():
    t = threading.Thread(target=calculation, args=(1000,))
    start = time.time()
    t.start()
    t.join()
    
    print("multi thread time consumption: ", time.time() - start, 's')


def process():
    
    p = Pool(12)
    for i in range(0,12):
        p.apply_async(calculation, args=(1000))
   
    start = time.time()
    p.close()
    p.join()
    
    print("multi process time consumption: ", time.time() - start, 's')
    
    
if __name__=='__main__':
    thread()
    process()

运行的结果如下:

multi thread time consumption:  19.517925024032593 s
multi process time consumption:  0.017050981521606445 s

发现,对于cpu密集型的任务,多进程的加速效果要远好于多线程。当然,上述两层循环的计算任务的设置,是特别设计适用于多进程加速的。这涉及到并行和并发的深入理解,后面有时间再做详细的总结。

相关推荐

  1. Python 进程线加速程序运行差别

    2024-05-11 21:36:07       36 阅读
  2. 如何Python中实现线进程

    2024-05-11 21:36:07       31 阅读
  3. python线进程内存共享方式

    2024-05-11 21:36:07       53 阅读
  4. Python 线进程用法

    2024-05-11 21:36:07       35 阅读
  5. Python---进程---线

    2024-05-11 21:36:07       63 阅读
  6. Queue线爬虫multiprocessing进程

    2024-05-11 21:36:07       44 阅读
  7. 线进程

    2024-05-11 21:36:07       55 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-05-11 21:36:07       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-05-11 21:36:07       100 阅读
  3. 在Django里面运行非项目文件

    2024-05-11 21:36:07       82 阅读
  4. Python语言-面向对象

    2024-05-11 21:36:07       91 阅读

热门阅读

  1. es 7.1.0 启用身份认证

    2024-05-11 21:36:07       27 阅读
  2. 送外卖面试回顾

    2024-05-11 21:36:07       27 阅读
  3. spring 创建bean的过程

    2024-05-11 21:36:07       32 阅读
  4. [ deepSpeed ] 单机单卡本地运行 & Docker运行

    2024-05-11 21:36:07       30 阅读
  5. Python 技巧:满意的逗号放置

    2024-05-11 21:36:07       35 阅读
  6. 类中的static成员的注意点

    2024-05-11 21:36:07       31 阅读
  7. 蓝桥杯备战9.拼数

    2024-05-11 21:36:07       35 阅读
  8. js 字符串截取,截取指定字符前面/后面的字符串

    2024-05-11 21:36:07       31 阅读
  9. Linux 的相关应用

    2024-05-11 21:36:07       32 阅读