1. 上传一个robots.txt到根目录，内容为： User-agent: baiduspider Disallow: / 一个搜索引擎爬虫工作前首先应该访问/robots.txt制定排除列表２. 如果还没有办法，可尝试.htaccess屏蔽，上传一个.htaccess文件到根目录，内容为： SetEnvIfNoCase User-Agent "^baiduspider" ban_bo...

继续阅读 »