网站打开慢 流量告警?看看是不是这些爬虫在作怪

随着AI的兴起,各大互联网公司纷纷推出了自己的AI大模型。

AI给我们带来了强有力的生产工具，同时给我们的网站服务器也增加了不少压力。

经常有用户反馈，为什么网站突然变慢了，或者经常收到淘宝的流量告警.

今天推券客告诉怎么解决这个问题.
这里以宝塔面板为例,登录到宝塔管理面板.

第一步：打开ｗｅｂ日志

第二步：找到使用的网站域名点后面的编辑

第三步：分析日志　
主要是找出爬虫的特征，根据特征拦截

如下图　

第四步：设置拦截规则　

下面公布我们在日常中发现到的AI爬虫,以及其他的一些没用的爬虫.

下面这个拦截规则拦截了亚马逊、谷歌、facebook、苹果、微软、Chatgpt等AI蜘蛛。

 if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|bingbot|semrush|UNAVAILABLE|Transcoder|Amazonbot|awario.com|Applebot|chatglm|facebook|thesis-research-bot|seostar.co|webmeup-crawler.com|Googlebot/2.1|OPPO\ A33|Build/HUAWEIFRD-AL00|ClaudeBot") {
return 403;
}