宝塔查询搜索引擎蜘蛛的便捷方法

宝塔建设网站，有很多操作，都是需要有一些小技巧的。

做seo，经常都需要查看网站的蜘蛛爬取情况，如果做精品站，只有几个网站，可以直接去看网站日志即可。

路径是 /www/wwwlogs

但是，如果是做站群，服务器上动则上百个网站的情况下，一个一个的去看日志，工作量就比较大了。

这里有一个便捷的方法，可以轻松掌握，每个站每天的蜘蛛量。

我这里先只用谷歌蜘蛛做实例，其它的蜘蛛自行更改设置即可。

1.日志切割

宝塔管理面板->添加计划任务->任务类型[日志切割]->执行周期[每天-0小时-1分钟]

2.谷歌蜘蛛统计

添加了日志切割后，接下来就是添加统计谷歌蜘蛛的任务

宝塔管理面板->添加计划任务->任务类型[Shell脚本]->执行周期[每天-23小时-55分钟]

脚本内容

    grep -ro "ooglebot" /www/wwwlogs/* | awk '{print $1}' | sort | uniq -c > /www/googlebot/$(date +"%Y-%m-%d").txt
    grep -ro "ooglebot" /www/wwwlogs/* | awk '{print $1}' | sort | uniq -c

3.创建保存文件的目录

在/www这个目录下，创建googlebot这个目录，用来保存日志统计文件

4.查看蜘蛛统计数据

只需要查看计划任务日志，就可以看到所有网站，当天蜘蛛抓取的数量了

    16 /www/wwwlogs/qozr.com-access_log:ooglebot
    ----------------------------------------------------------------------------
★[2023-12-23 17:07:42] Successful

就像上面显示的一样，我的网站12月23日这天，我的网站，谷歌抓取了16次，有多少网站，就会显示多少行，这样，做站群的情况下，

也能很轻松的获悉到每个网站的蜘蛛抓取量了。

编辑:

阅读量:31

url链接:https://www.qozr.com/cms_bao-ta-cha-xun-sou-suo-yin-qing-zhi-zhu-de-bian-jie-fang-fa.html

Tag标签: 宝塔