使用 CloudFlare 后如何才能不影响搜索引擎蜘蛛爬虫

今天,明月给大家再次详细讲解一下,明月在使用 CloudFlare 后如何才能不影响搜索引擎蜘蛛爬虫对站点的抓取,因为这是很多首次使用 CloudFlare 的站长们容易忽略和触犯的问题,并不是 CloudFlare 不友好,而是 CloudFlare 的防火墙(WAF)实在是太给力。其实在【CloudFlare 如何让合法搜索引擎蜘蛛爬虫正常抓取】一文里就给大家分享过使用 CloudFlare 后如何放行搜索引擎蜘蛛爬虫,但因为 CloudFlare 后台多次升级更新,相应的设置也有了些许的变化,所以明月感觉有必要重新给大家分享一下。

目前,明月发现到的 CloudFlare 影响搜索引擎爬虫的只有两个地方,理论上只要这两个地方配置好了,任何搜索引擎爬虫都是可以畅通无阻的来你的站点抓取的,并且每次来访蜘蛛爬虫都可以在 CloudFlare 后台【安全性】——【事件】里看到记录的,如下图所示:

使用 CloudFlare 后如何才能不影响搜索引擎蜘蛛爬虫

可以看到,虽然明月博客已经迁移到境外服务

最近更新

  1. TCP协议是安全的吗?

    2024-05-13 05:50:10       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-05-13 05:50:10       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-05-13 05:50:10       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-05-13 05:50:10       20 阅读

热门阅读

  1. vue-router(路由)

    2024-05-13 05:50:10       10 阅读
  2. 【CV】计算机视觉是什么?

    2024-05-13 05:50:10       10 阅读
  3. 排序算法大全(附源码)

    2024-05-13 05:50:10       12 阅读
  4. 基于协同过滤算法的旅游推荐系统的设计

    2024-05-13 05:50:10       10 阅读
  5. C语言输出重定向

    2024-05-13 05:50:10       8 阅读
  6. [Linux] 常用服务器命令(持续更新)

    2024-05-13 05:50:10       11 阅读
  7. GPU常用命令

    2024-05-13 05:50:10       22 阅读
  8. is和==的关系

    2024-05-13 05:50:10       9 阅读
  9. 个人工控方面收藏网址记录(持续更新中)

    2024-05-13 05:50:10       12 阅读
  10. 一文搞懂MongoDB面试题(2万字长文)

    2024-05-13 05:50:10       10 阅读