【爬虫基础】第5讲 AJAX动态页面的数据获取

'''

静态：访问地址栏里的数据就可以获取到想要的数据

动态：访问地址栏里的数据获取不到想要的数据

解决方案：抓包

          打开浏览器的开发者工具-network-xhr,找到可以获取到数据的URL访问即可

'''

获取url地址

 代码实现：

from urllib.request import Request,urlopen
from fake_useragent  import UserAgent

url ='https://www.hupu.com/home/v1/news?pageNo=2&pageSize=50'
headers ={
    'User-Agent':UserAgent().chrome
}
req = Request(url,headers=headers)
resp = urlopen(req)
print(resp.read().decode())

执行结果：