|
网站如何解除百度蜘蛛封禁?我们是否遇到过自己的网站内容十分的优质,但是就是没有百度蜘蛛抓取记录,自己的网站就是查找不到任何的收录和展现。这种现象的出现可能就是你的网站存在着封禁百度蜘蛛的情况,如果百度蜘蛛被封禁,那么将会导致百度蜘蛛无法正常抓取你的网站,所以网站将得不到收录和展现。 对于常见的封禁行为包括:robots封禁、封禁百度UA、封禁百度IP等。那么我们该如何验证自己的网站是否存在封禁百度蜘蛛的情况呢?下面迈为科技小编就跟大家介绍一下百度搜索资源平台官方的建议。 1、自查robots.txt文件 首先, 开发者们先查看robots.txt文件,是否存在封禁记录。一般robots.txt文件放置在网站根目录下~ 【建议方案】如果存在robots封禁的情况,请开发者们及时修改或者删除robots.txt文件。 关于更多robots文件的说明请扫描二维码阅读~ 2、自查是否封禁百度UA 如果开发者们自查robots.txt文件无异常,可以进一步排查是否存在封禁百度UA情况。 1、执行代码进行自查 执行以下命令进行排查: curl--head--user-agent'Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)'--request GET 'xxxxxxx' xxxxxxx为网站域名,如:http://www.abc.com 注意:如果站点正常,不存在封禁百度UA的情况,则其返回码是200,如出现其他返回码为异常。 2、变更浏览器进行UA验证 通过观察站点资源在其他浏览器是否得到正常的抓取和收录,来判断网站是否有封禁百度UA的情况。 【建议方案】查看网站反爬虫策略,进行策略调整,解除百度UA封禁;或者针对百度UA添加策略白名单。 3、自查是否存在IP封禁 如果以上验证均无异常,开发者们则可以排查是否存在IP封禁的情况。 常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。 【建议方案】查看网站反爬虫策略,进行策略调整,解除百度IP封禁。 @免责声明:转载内容来自于百度搜索资源平台,仅用于学习使用,如有异议请及时联系,本人将予以删除。 |