日志中看到来自User Agent go-http-client / 1.1的大量请求(go-http-client 1.1)服务器爆了

在日志中看到来自User Agent go-http-client / 1.1的大量请求

The go-http-client/1.1 User Agent 是Google的Bot / Crawler
这不是真的。这可能是指Go库(根据您提到的来源,由Google开发,但是我找不到可靠的信息)。

之前写过“Go-http-client/1.1 是哪家的爬虫 这次终于知道了”这篇文章,大家可以去看看

即使它是由Google创建的,也不能说它是Google搜寻器,至少不是基于官方文档:

https://support.google.com/webmasters/answer/1061943 14
对于那些希望go-http-client在确保它不是Google搜寻器的同时阻止来自UA的请求的解决方案是创建如下防火墙规则:

(http.user_agent contains “go-http-client” and not cf.client.bot)
Cloudflare具有高级机制,该机制超越了用户代理字符串,并且可以正确执行验证,如另一本正式文档中所述:

https://support.google.com/webmasters/answer/80553 9
PS:我已经在我管理的多个站点上观察到了该UA(及其一些变体),并可以确认其行为与合法的Google搜寻器的行为不一致。

如果要阻止此UA,则可以配置用户代理阻止规则(仅完全匹配)或防火墙规则(完全/部分匹配)。

本地服务器:bt防火墙,用UA,(go-http-client)过滤就可解决。

相关推荐

  1. HTTP Client

    2024-05-04 10:02:02       37 阅读
  2. reqwest - Rust HTTP Client

    2024-05-04 10:02:02       33 阅读
  3. cpp http server/client

    2024-05-04 10:02:02       29 阅读
  4. IDEA内置HTTP CLIENT

    2024-05-04 10:02:02       49 阅读
  5. golang 集成sentry:http.Client

    2024-05-04 10:02:02       50 阅读
  6. libhv http client vs cpr

    2024-05-04 10:02:02       24 阅读
  7. GoHTTP请求处理概述

    2024-05-04 10:02:02       33 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-05-04 10:02:02       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-05-04 10:02:02       106 阅读
  3. 在Django里面运行非项目文件

    2024-05-04 10:02:02       87 阅读
  4. Python语言-面向对象

    2024-05-04 10:02:02       96 阅读

热门阅读

  1. R Business Problem

    2024-05-04 10:02:02       25 阅读
  2. 计算机网络 3.1网络的拓扑结构

    2024-05-04 10:02:02       31 阅读
  3. 计算机网络期末试题

    2024-05-04 10:02:02       33 阅读
  4. 【LeetCode】树的DFS(前序、中序、后序)精选10题

    2024-05-04 10:02:02       32 阅读
  5. 富格林:累积经验阻挠黑幕之手

    2024-05-04 10:02:02       29 阅读
  6. Django Admin报错“外键冲突”排查

    2024-05-04 10:02:02       28 阅读
  7. 你用过最好用的AI工具有哪些?

    2024-05-04 10:02:02       32 阅读
  8. 力扣经典150题第五十二题:简化路径

    2024-05-04 10:02:02       34 阅读