CrawlSpace爬虫部署框架介绍

  • 开发
  • 28

CrawlSpace爬虫部署框架介绍

全新的爬虫部署框架，为了适应工作的爬虫部署的使用，需要自己开发一个在线编写爬虫及部署爬虫的框架，框架采用的是Django2.2+bootstap依赖scrapyd开发的全新通用爬虫在线编辑部署及scrapy项目的部署框架。项目实现的五大块的功能及许多在维护爬虫的过程中用的许多实用的操作功能。

首页通用爬虫的模块编写采集全站的数据：

alt 爬虫项目的运行列表

alt 日志结果查看

alt 定时任务列表

alt 任务配置查看

alt 主机信息列表

alt 主机创建

alt 项目打包及部署

alt 项目调度

alt scrapy项目在线编辑

alt 节点可视化监控，支持在线检测主机状态并提示功能

alt

通用爬虫月度数据源可视化统计

alt

alt 以上就是crawlspace的现有功能，相比其他的部署，这个部署框架更加的便于维护爬虫项目，操作更加灵活方便，交互更加便捷舒适，功能更加完善，信息的显示更加清晰，同时支持手机端在线操作！

本文由 mdnice 多平台发布

阅读全部

相关推荐

  4. ＜爬虫部署,进阶Docker＞----第一章 介绍Docker

    2024-06-07 07:06:04       42 阅读

  6. 强大的开源网络爬虫框架Scrapy的基本介绍(入门级)

    2024-06-07 07:06:04       41 阅读

  7. python爬虫01-爬虫介绍

    2024-06-07 07:06:04       61 阅读

  8. 爬虫框架Scrapy

    2024-06-07 07:06:04       51 阅读

  9. 爬虫框架Beautiful Soup

    2024-06-07 07:06:04       51 阅读

  10. 爬虫框架Beautiful Soup

    2024-06-07 07:06:04       54 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-07 07:06:04       94 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-07 07:06:04       101 阅读

  9. 在Django里面运行非项目文件

    2024-06-07 07:06:04       82 阅读

  19. Python语言-面向对象

    2024-06-07 07:06:04       91 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-06-07 07:06:04       85 阅读

热门阅读

  1. OCR行驶证识别介绍

    2024-06-07 07:06:04       29 阅读

  2. ubuntu24安装python2

    2024-06-07 07:06:04       27 阅读

  4. C语言题目：单词个数统计

    2024-06-07 07:06:04       28 阅读

  5. Elasticsearch入门：初识分布式搜索引擎

    2024-06-07 07:06:04       25 阅读

  7. HashMap

    2024-06-07 07:06:04       29 阅读

  10. uniapp使用 input弹出键盘问题

    2024-06-07 07:06:04       31 阅读

  11. 【POSIX】使用regex进行正则匹配

    2024-06-07 07:06:04       30 阅读

  12. 探索Linux中的gzip命令：压缩与解压缩的艺术

    2024-06-07 07:06:04       30 阅读

  13. LeetCode｜2331. Evaluate Boolean Binary Tree

    2024-06-07 07:06:04       29 阅读

  15. ES6中的class类 及 递归

    2024-06-07 07:06:04       31 阅读

  17. R语言中的列表list

    2024-06-07 07:06:04       31 阅读

  20. 服务器硬件基础知识

    2024-06-07 07:06:04       27 阅读

  21. 重构与优化-条件表达式优化（4）

    2024-06-07 07:06:04       28 阅读