这个软件可以查看搜索引擎的蜘蛛访问记录,根据这些记录可以看到蜘蛛什么时候来访问过你的站,抓取了什么内容。
使用方法:
—-插入asp页面调用
—-插入html页面JS调用
bot.mdb 记录数据库
访问 zhizhu.asp 可以查看蜘蛛访问记录记录
优点:
1、程序简洁易用。
2、记录所有爬行的页面。
3、可以批量删除数据。
4、用数据库记录而不是txt。
不足:
1、程序小,功能也少。
2、不能记录返回值,如200 404等。
3、适合小型的网站程序,或者流量不是太大的站。
4、因为是测试版本功能不多,以后会有更新,现在够用就好。
ID:29551
声明:本站所有资源均来源于互联网收集,仅供学习参考使用,如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。