爬虫学习笔记-scrapy爬取电影天堂(双层网址嵌套)

 

1.终端运行scrapy startproject movie,创建项目

2.接口查找

 3.终端cd到spiders,cd scrapy_carhome/scrapy_movie/spiders,运行 scrapy genspider mv https://dy2018.com/

4.打开mv,编写代码,爬取电影名和网址

5.用爬取的网址请求,使用meta属性传递name ,callback调用自定义的parse_second

6.导入ScrapyMovieItem,将movie对象传递给管道下载

7.settings开启管道

8.下载爬取的movie对象存储到movie.json中

 9.爬取的结果

相关推荐

  1. 爬虫豆瓣电影、价格、书名

    2024-02-19 07:06:03       48 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-19 07:06:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-19 07:06:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-02-19 07:06:03       82 阅读
  4. Python语言-面向对象

    2024-02-19 07:06:03       91 阅读

热门阅读

  1. 入门Docker:构建你的第一个Python爬虫容器

    2024-02-19 07:06:03       53 阅读
  2. Tomcat多实例配置与应用的深入讲解

    2024-02-19 07:06:03       51 阅读
  3. springboot整合RabbitMQ

    2024-02-19 07:06:03       49 阅读
  4. 【笔记】Android MTU 知识及常见问题

    2024-02-19 07:06:03       59 阅读
  5. windows_tcp简单代码

    2024-02-19 07:06:03       48 阅读
  6. 小程序API能力汇总——基础容器API(三)

    2024-02-19 07:06:03       56 阅读
  7. 二、深入学习TensorRT,Developer Guide篇(一)

    2024-02-19 07:06:03       58 阅读
  8. 算法竞赛常用的库函数

    2024-02-19 07:06:03       42 阅读
  9. 机器学习算法的最新进展

    2024-02-19 07:06:03       48 阅读
  10. cookie+session和token

    2024-02-19 07:06:03       54 阅读