python爬虫（9）之requests模块

1、获取动态加载的数据

1、在开发者工具中查看动态数据

找到csdn的门户的开发者工具后到这一页面。

2、加载代码

import requests

headers ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'}

param = {'productId': 'python get params'}

resp = requests.get(url='https://www.csdn.net',params=param)

print(resp.json)

print(resp.text)

3、结果如下

2、在网站爬取图片

1、在开发者工具中查看图片

这里也是随便找了一张图。

2、代码

import requests

url = 'https://img-blog.csdnimg.cn/img_convert/a530f8b0e4cc4598a06804c91ab7038b.png?x-oss-process=image/resize,m_fixed,h_300,image/format,png'

resp = requests.get(url=url)

continu = resp.content

with open('图.png','wb') as fp:

     fp.write(continu)

最后这里的with表示将图片保存到跟当前python文件相同目录下，最后也是可以看到成功了

3、结果