技术日志

记录分享邓杰律师从事网络技术工作点点滴滴。

Go-http-client/1.1有360搜索引擎蜘蛛使用的情形吗?

点击复制标题网址

——温馨提示——

已复制到剪贴板,可粘贴到下一处。


时间:   查看:1161

编者按:

日常分析服务器访问日志过程中,发现以下访问记录:180.163.220.125 - - [12/Apr/2023:01:25:51 +0800] "GET /sitemap.xml HTTP/1.1" 404 737 "http://qiyelaw.com/sitemap.xml" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Saf

        日常分析服务器访问日志过程中,发现以下访问记录:

180.163.220.42 - - [12/Apr/2023:01:25:52 +0800] "GET /api.php?op=sitemap HTTP/1.1" 403 146 "-" "Go-http-client/1.1"

180.163.220.50 - - [12/Apr/2023:01:25:52 +0800] "GET /style/js/cutom.js HTTP/1.1" 403 146 "-" "Go-http-client/1.1"

180.163.220.112 - - [12/Apr/2023:01:25:52 +0800] "GET /style/js/jquery.min.js HTTP/1.1" 403 146 "-" "Go-http-client/1.1"

180.163.220.126 - - [12/Apr/2023:01:25:52 +0800] "GET /style/js/layer/layer.js HTTP/1.1" 403 146 "-" "Go-http-client/1.1"

        经查360官方公布蜘蛛所用ip段,180.163.220.0/24属于其使用,

        但是,据360搜索官方网站公示,360搜索的蜘蛛在访问网站时,都会带上带有360Spider签名信息的UA,其形态为:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider,然前述访问日志并没有带上带有360Spider签名信息的UA。故180.163.220.0/24是否属于360搜索使用情形存疑,如您网站需要360蜘蛛访问收录的话,则Go-http-client代理头暂时不宜采取屏蔽措施,待明确使用者身份后再行判断。

本文标签

发表评论:

评论记录:

未查询到任何数据!