大家碰到的google的爬虫,一般都会带有一个说明文档的链接。然而,我发现这个Googlebot-Image居然不带说明的。太惊讶了。
2018-04-11 00:18:24 W9SVC8596 *.*.*.* GET /w/9/8.jpg - 80 - 203.208.60.186 Googlebot-Image/1.0 - 304 0 0
2018-04-11 00:18:24 W9SVC8596 *.*.*.* GET /w/9/8.jpg - 80 - 203.208.60.186 Googlebot-Image/1.0 - 304 0 0