拼多多职位数据信息采集

数据信息采集

洛哥爬虫【视频】 爱写爬虫

我爱扣脚

https://careers.pinduoduo.com/jobs#/

from DrissionPage import ChromiumPage, ChromiumOptions
def fetch_pinduoduo_jobs():
    # 创建ChromiumOptions对象
    co = ChromiumOptions()
    # 提供浏览器可执行文件的路径
    path = r'C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe'
    co.set_browser_path(path)

    # 创建ChromiumPage对象
    page = ChromiumPage(co)
    # 开始监听
    api_endpoint = '/api/recruit/position/list'
    page.listen.start(api_endpoint)
    # 访问目标页面
    page.get('https://careers.pinduoduo.com/jobs#/')
    # 等待并获取一个数据包
    res = page.listen.wait()
    if res:
        print(res._raw_body)
    for pagenum in range(2, 79):
        # 点击下一页按钮
        pagenumstr = f"x://a[text()='{pagenum}']"
        next_page_button = page.ele(pagenumstr)
        page.listen.start(api_endpoint)
        if next_page_button:
            next_page_button.click()
        # 重新监听并获取数据包
        res = page.listen.wait()
        if res:
            print(res._raw_body)
        page.wait(5)
    # 关闭浏览器
    page.close()
if __name__ == '__main__':
    fetch_pinduoduo_jobs()