推券客cms使用技巧之nginx拦截爬虫的方法

刚加入淘客的小伙伴一般都会买个低配的服务器，比如花几十块钱买个腾讯云、阿里云的1核2G1M的云服务器。

价格便宜当然配置低服务器处理并发能力就比较差了，当我们网站遇到搜索引擎爬虫过度爬取、或者被CC攻击时，就出现服务器资源被占满，

网站打开就会比较慢甚至打不开。在不升级服务器的情况下，可以尝试屏蔽掉一些不需要的爬虫。

今天教大家如何分析和拦截不需要的爬虫抓取我们网站的数据。我们还是以宝塔面板为例。

第一步：打开web日志


第二步：找到使用的网站域名点后面的编辑

第三步：分析日志 

主要是找出爬虫的特征，根据特征拦截

如下图 

第四步：设置拦截规则 

if ($http_user_agent ~ semrush.com) {
return  403 ;
}