初级使用Scrapy

创建Scrapy项目:测试项目为lufei小说

创建爬虫模版:要先切换到刚刚创建的lufei路径下面,名称为lufeishuo,域名为b.faloo.com

模版创建好之后修改stat_url为自己要爬取的url

import scrapy


class LufeishuoSpider(scrapy.Spider):
    name = "lufeishuo"
    allowed_domains = ["b.faloo.com"]
    start_urls = ["https://b.faloo.com/html_1404_1404547/"]

    def parse(self, response):
        print(response.text)

然后修改设置settings.py,改成不接受协议False

解开注释并添加自己的User_Agent伪装一下

在scrapy.cfg的同级目录下面创建start.py文件

在start文件中写入启动程序

右键运行至此结束

相关推荐

  1. 爬虫scrapy管道的使用

    2024-04-12 18:24:02       36 阅读
  2. <span style='color:red;'>Scrapy</span>

    Scrapy

    2024-04-12 18:24:02      12 阅读
  3. 爬虫scrapy中间件的使用

    2024-04-12 18:24:02       27 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-12 18:24:02       19 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-12 18:24:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-12 18:24:02       20 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-12 18:24:02       20 阅读

热门阅读

  1. vue中watch监听路由传来的参数变化问题

    2024-04-12 18:24:02       13 阅读
  2. Windows下如何确定虚函数在虚函数表中的位置

    2024-04-12 18:24:02       17 阅读
  3. MYSQL执行流程

    2024-04-12 18:24:02       18 阅读
  4. Fiddler:网络调试利器

    2024-04-12 18:24:02       14 阅读
  5. 从零学算法274

    2024-04-12 18:24:02       15 阅读
  6. 【python处理数据的函数】---误区2

    2024-04-12 18:24:02       17 阅读
  7. LeetCode 每日一题 ---- 【2923. 找到冠军 I】

    2024-04-12 18:24:02       19 阅读
  8. linux总结

    2024-04-12 18:24:02       19 阅读
  9. 在linux上如何执行带有目录的命令

    2024-04-12 18:24:02       22 阅读
  10. steam流太难用了看看JDFrame

    2024-04-12 18:24:02       31 阅读
  11. mysql知识点

    2024-04-12 18:24:02       21 阅读
  12. 2024MarthorCUP妈妈杯——思路附代码B题

    2024-04-12 18:24:02       17 阅读