基于Python的51job(前程无忧)招聘网站数据采集,通过selenium绕过网站反爬,可以采集全国各地数十万条招聘信息

使用Python编程语言和Selenium库来实现自动化的网页操作,从而实现登录、搜索和爬取职位信息的功能。

首先,导入了所需的库,包括time用于处理时间,selenium用于模拟浏览器操作,csv用于写入CSV文件,BeautifulSoup用于解析网页数据。然后,定义了一个名为login的函数,该函数接受一个WebDriver对象和一个关键词作为参数。

在login函数中,使用WebDriver对象打开51job网站,并通过模拟用户的行为进行登录操作。登录过程中需要输入关键词并点击搜索按钮。然后,使用BeautifulSoup库解析页面源代码,找到包含职位信息的HTML元素,并逐个提取出岗位名、公司、薪资、城市、区县、行业、标签、性质、企业人数和回复等信息。将提取的信息存储在一个列表中,并通过csv库将列表中的数据写入到CSV文件中。

在主函数main中,配置了Chrome浏览器的启动选项,并创建了一个WebDriver对象。接下来,代码循环遍历不同的城市列表,在每个城市中调用login函数进行登录和职位信息的爬取。

代码的运行过程是自动化的,通过模拟浏览器操作来实现登录和搜索功能,然后从搜索结果中提取所需的职位信息,并将其保存到CSV文件中。使用Selenium库可以实现与浏览器相同的操作,包括点击按钮、输入文本、滚动页面等。

主要代码如下:

def main():
    # while True:
        """
        chromeOptions 是一个配置 chrome 启动是属性的类,就是初始化
        """
        option = webdriver.ChromeOptions()
        """
        add_experimental_option 添加实验性质的设置参数
        """
        option.add_experimental_option('excludeSwitches', ['enable-automation'])  # webdriver防检测
        '''
        add_argument 添加启动参数
        '''
        # option.add_argument("--disable-blink-features=AutomationControlled")
        # option.add_argument("--no-sandbox")
        # option.add_argument("--disable-dev-usage")
        # option.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})#不加载图片
        """
        Chrome 配置驱动
        """
        driver = webdriver.Chrome(executable_path='chromedriver.exe',options=option)
        driver.set_page_load_timeout(15)
        list0=[['guangzhou', '广州'], ['shanghai', '上海'], ['shenzhen', '深圳'], ['changsha', '长沙'],['chongqing','重庆']]
        for k in list0:
            login(driver,k)
            time.sleep(15)
        # driver.set_page_load_timeout(15)

        # jugesd(driver)
if __name__ == '__main__':
    headers = {
        'User-Agent':'你的user-agent',
    'Cookie':'你的cookie(一定要登录,不然久不久就会反爬验证)'}
    main()

完整代码可联系我,白嫖勿扰

最近更新

  1. TCP协议是安全的吗?

    2024-01-18 16:20:05       17 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-18 16:20:05       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-18 16:20:05       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-18 16:20:05       18 阅读

热门阅读

  1. vue3 setup语法糖

    2024-01-18 16:20:05       41 阅读
  2. Pandas实战100例 | 案例 74: 分组后计算平均值

    2024-01-18 16:20:05       30 阅读
  3. UDP服务器和客户端的创建步骤

    2024-01-18 16:20:05       21 阅读
  4. ElasticSearch入门

    2024-01-18 16:20:05       29 阅读
  5. MongoDB聚合:$set

    2024-01-18 16:20:05       33 阅读
  6. DynamoDB和Cassandra、MongoDB的比较

    2024-01-18 16:20:05       32 阅读
  7. 面试 React 框架八股文十问十答第十一期

    2024-01-18 16:20:05       32 阅读
  8. PyTorch中的nn.LeakyReLU()、nn.Module和nn.ModuleList

    2024-01-18 16:20:05       28 阅读
  9. PyTorch中的AOTAutograd、PrimTorch和TorchInductor

    2024-01-18 16:20:05       27 阅读
  10. 虚拟化技术、Docker、K8s笔记总结

    2024-01-18 16:20:05       29 阅读
  11. uni-app根据腾讯地图接口三级联动组件

    2024-01-18 16:20:05       33 阅读