网站建设

宝塔查询搜索引擎蜘蛛的便捷方法

宝塔建设网站,有很多操作,都是需要有一些小技巧的。

做seo,经常都需要查看网站的蜘蛛爬取情况,如果做精品站,只有几个网站,可以直接去看网站日志即可。

路径是 /www/wwwlogs

但是,如果是做站群,服务器上动则上百个网站的情况下,一个一个的去看日志,工作量就比较大了。

这里有一个便捷的方法,可以轻松掌握,每个站每天的蜘蛛量。

我这里先只用谷歌蜘蛛做实例,其它的蜘蛛自行更改设置即可。

1.日志切割

宝塔管理面板->添加计划任务->任务类型[日志切割]->执行周期[每天-0小时-1分钟]

2.谷歌蜘蛛统计

添加了日志切割后,接下来就是添加统计谷歌蜘蛛的任务

宝塔管理面板->添加计划任务->任务类型[Shell脚本]->执行周期[每天-23小时-55分钟]

脚本内容

    grep -ro "ooglebot" /www/wwwlogs/* | awk '{print $1}' | sort | uniq -c > /www/googlebot/$(date +"%Y-%m-%d").txt
    grep -ro "ooglebot" /www/wwwlogs/* | awk '{print $1}' | sort | uniq -c

3.创建保存文件的目录

在/www这个目录下,创建googlebot这个目录,用来保存日志统计文件

4.查看蜘蛛统计数据

只需要查看计划任务日志,就可以看到所有网站,当天蜘蛛抓取的数量了

    16 /www/wwwlogs/qozr.com-access_log:ooglebot
    ----------------------------------------------------------------------------
★[2023-12-23 17:07:42] Successful

就像上面显示的一样,我的网站12月23日这天,我的网站,谷歌抓取了16次,有多少网站,就会显示多少行,这样,做站群的情况下,

也能很轻松的获悉到每个网站的蜘蛛抓取量了。


编辑:

阅读量:15

url链接:https://www.qozr.com/cms_bao-ta-cha-xun-sou-suo-yin-qing-zhi-zhu-de-bian-jie-fang-fa.html

Tag标签: 宝塔

同类新闻

更多新闻

Copyright © 2007-2023 千欧中软 版权所有 https://www.qozr.com seo | 网站建设 [渝ICP备15005074号]