2024/3/24--爬虫库

1.常用的爬虫库
(1)在setting的project里面点击Python Interpreter
在这里插入图片描述

(2)常用的爬虫库有

import requests
//用途:用于发送HTTP请求。

from bs4 import BeautifulSoup
//用于从HTML或XML文档中提取数据。

import scrapy
//一个功能强大的爬虫框架,用于大规模的数据提取。

from selenium import webdriver
//用途:用于自动化浏览器操作,如JavaScript渲染页面的爬取。

from pyquery import PyQuery as pq
//用途:类似于jQuery的选择器,用于解析和操作HTML文档。

from lxml import etree
//于处理XML和HTML文档。

import tesserocr
//用于OCR(光学字符识别),从图像中提取文本。

import aiohttp
//异步HTTP客户端/服务器框架。

3.如果在setting里面下载不了,就直接切换到cmd窗口
任何目录下打开命令行窗口(例如Windows的命令提示符或Linux/macOS的终端),然后输入python -m pip install --upgrade pip命令。不需要特定的目录,只要您的Python环境已正确配置并且pip可用即可。

python -m pip install --upgrade pip
python -m pip install --index-url=https://pypi.org/simple/ pyquery

4.然后打开cmd窗口pip安装

pip install requests beautifulsoup4 scrapy selenium pyquery lxml tesserocr aiohttp

相关推荐

  1. Python爬虫推荐

    2024-03-29 01:44:02       48 阅读
  2. 爬虫PythonBeautifulSoup

    2024-03-29 01:44:02       33 阅读
  3. 一些常见的爬虫

    2024-03-29 01:44:02       41 阅读
  4. Python爬虫存储安装

    2024-03-29 01:44:02       50 阅读
  5. Python爬虫 pyquery详解

    2024-03-29 01:44:02       45 阅读
  6. python爬虫常用的

    2024-03-29 01:44:02       52 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-29 01:44:02       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-29 01:44:02       106 阅读
  3. 在Django里面运行非项目文件

    2024-03-29 01:44:02       87 阅读
  4. Python语言-面向对象

    2024-03-29 01:44:02       96 阅读

热门阅读

  1. 每日一题:C语言经典例题之龟兔赛跑

    2024-03-29 01:44:02       56 阅读
  2. 【GameFramework框架内置模块】16、配置(Setting)

    2024-03-29 01:44:02       40 阅读
  3. math模块篇(六)

    2024-03-29 01:44:02       30 阅读
  4. python的logger日志的封装模板

    2024-03-29 01:44:02       41 阅读
  5. 团队建设与管理案例分析题

    2024-03-29 01:44:02       40 阅读
  6. vue 事件处理

    2024-03-29 01:44:02       42 阅读
  7. Zigbee技术在智能农业领域的应用研究

    2024-03-29 01:44:02       49 阅读