记一次协程|线程|进程学习记录

本章仅以获取图片来测试一下Py的同步、异步、协程、多进程、多线程的速度。凑个热闹即可,具体需要以实际情况为主。

图片数量:257张7ff5b8f7457f7603903dbc4a23fcc6e6.png

执行操作:
1、读取文件
2、发起请求
3、下载图片

所需库:
pip install httpx
pip install aiomultiprocess
pip install aiofiles
pip install requests

同步

0416bc9b1c3d64a4afc406dcdef233b0.png
def get_img():
    with open('imgs', 'r', encoding='utf-8') as r:
            contents = r.read()
    # print(contents.split('\n'))
    for href in contents.split('\n'):
        img = requests.get(href).content
        with open('img/' + href[-28:-16] + '.jpg', 'wb') as w:
            w.write(img)
        print("加载成功", href)
#
start_time = timeit.default_timer()
get_img()
end_time = timeit.default_timer()
elapsed_time = end_time - start_time
print("Elapsed Time:", elapsed_time)

协程

fc6db0f174eb95b9f9719f19d509b6d6.png
import asyncio
import aiofiles
import httpx
import timeit

async def read_img():
    # 异步读取
    async with aiofiles.open('imgs', 'r', encoding='utf-8') as r:
        contents = await r.read()
        return contents.split('\n')


async def download_image(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.content

async def get_image():
    contents = await read_img()
    tasks= [url for url in contents]
    for task in tasks:
        image_content = await download_image(task)
        try:
            async with aiofiles.open('img/' + task[-28:-16] + '.jpg', 'wb') as f:
                await f.write(image_content)
                print("加载成功~ {}".format(task))
        except:
            print("有点小问题,跳过")

if __name__ == '__main__':
    start_time = timeit.default_timer()
    asyncio.run(get_image())
    end_time = timeit.default_timer()
    elapsed_time = end_time - start_time

    print("Elapsed Time:", elapsed_time)

用到了一些其他模块,需要pip下载,按照上述指示下载即可。


就不一一举例的,具体的已经都放在了笔记中

9f71a5ccf79fbaea322dd56c2c65beed.png

直接来看看效果

异步

ba1d6fb7065681b9b73c2ff27857a08b.png

多进程 + 异步

d5d6cbedc07585280915de6a8a8572be.png

多线程 + 异步

04a66402f2c08ee8e8345759e92a37c1.png

多线程

3499a81fb73e8c462bd9febc714afed4.png

总结

为什么多线程在这里要更快??
为什么多进程 + 异步也慢??

这是一个先对问题,为什么这么说?跟数据量有关系,不能因为表面而被迷惑。因为协程跟进程是需要额外开销的,在程序启动的时候,这个开销在数据量小的时候尤其明显。(非官方解释,可参考博主的笔记)

相关推荐

  1. 【js逆向】爬虫之进程线

    2023-12-23 07:54:02       55 阅读
  2. Linux的进程,线

    2023-12-23 07:54:02       66 阅读
  3. Python爬虫:线进程

    2023-12-23 07:54:02       33 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-23 07:54:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-23 07:54:02       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-23 07:54:02       82 阅读
  4. Python语言-面向对象

    2023-12-23 07:54:02       91 阅读

热门阅读

  1. 深度学习框架TensorFlow

    2023-12-23 07:54:02       52 阅读
  2. 未能正确利用原型继承(js的问题)

    2023-12-23 07:54:02       58 阅读
  3. hive高级查询

    2023-12-23 07:54:02       53 阅读
  4. MAX96712学习记录及编程实践

    2023-12-23 07:54:02       58 阅读
  5. 鼠标悬浮在树组件节点上展示当前节点名称

    2023-12-23 07:54:02       56 阅读