爬虫案例—表情党图片data-src抓取
表情党网址：https://qq.yh31.com
抓取心情板块的图片data-src
由于此页面采用的是懒加载技术，为了节省网络带宽和减轻服务器压力。不浏览的图片，页面不加载，统一显示LOADING…。如下图：
按F12（谷歌浏览器）通过分析，表情图片的真正链接为data-src
通过分析，在搜索框里输入如下的xpath路径，匹配到页面中所有的data-src，如下图：
抓取data-src的源代码如下：
import requests
from lxml import etree
headers= {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
url = 'https://qq.yh31.com/xq/wq/'
res = requests.get(url, headers=headers)
res.encoding = res.apparent_encoding
data = res.text
tree = etree.HTML(data)
data_src_lst = tree.xpath('//div[@class="sr"]//dt/a/img/@data-src')
print(data_src_lst)
结果如下图：
