Python爬虫---scrapy shell 调试

Scrapy shell是Scrapy提供的一个交互式shell工具,它可以帮助我们进行爬虫的开发和调试。可以使用它来测试xpath或css表达式,查看它们是如何工作的,以及它们从你试图抓取的网页中提取的数据。它允许你在编写spider时交互地测试表达式,而无需运行spider来测试每个更改。

使用前提:已安装 ipython  安装: pip install ipython

使用步骤:

1. win+r 打开终端

2. 直接输入scrapy shell 域名  (注意:不能先进入ipython或python)

URL的基本组成部分:协议、域名、端口、路径 

3. 使用:

 xpath语法:

bs4语法(不建议):

 

相关推荐

  1. python爬虫

    2024-01-14 01:58:05       66 阅读
  2. python爬虫

    2024-01-14 01:58:05       65 阅读
  3. python爬虫

    2024-01-14 01:58:05       42 阅读
  4. python爬虫

    2024-01-14 01:58:05       31 阅读
  5. python爬虫01-爬虫介绍

    2024-01-14 01:58:05       63 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-14 01:58:05       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-14 01:58:05       106 阅读
  3. 在Django里面运行非项目文件

    2024-01-14 01:58:05       87 阅读
  4. Python语言-面向对象

    2024-01-14 01:58:05       96 阅读

热门阅读

  1. VCG 网格面片法向量平滑

    2024-01-14 01:58:05       65 阅读
  2. Git 的基本概念和使用方式

    2024-01-14 01:58:05       51 阅读
  3. Ubuntu下git提示:终止提交因为提交说明为空。

    2024-01-14 01:58:05       71 阅读
  4. 【洛谷】P2709 小B的询问——莫队问题

    2024-01-14 01:58:05       70 阅读
  5. C++系列十六:枚举

    2024-01-14 01:58:05       57 阅读
  6. spring动态控制定时任务

    2024-01-14 01:58:05       66 阅读
  7. 行分类问题

    2024-01-14 01:58:05       59 阅读
  8. argc和argv参数

    2024-01-14 01:58:05       71 阅读