|
网站优化过程中如何使用【Robots】工具?时间:2022-10-13 【Robots】工具的作用? 站长可以通过搜索资源平台【Robots】工具来创建、校验、更新robots.txt文件,或查看网站robots.txt文件是否成功生效的情况。 2 、使用【Robots】工具的注意事项? 【Robots】工具目前支持48k的文件内容检测。同时请保证网站的robots.txt文件不要过大,目录最长不超过250个字符。 robots文件更新和提交后,百度蜘蛛不是立即调整停止/开放抓取的,搜索引擎需要逐渐完成robots.txt的更新。 3 、robots.txt已设置禁止百度收录网站 的内容,为何仍出现在搜索结果中? 可能存在以下问题: (1)robots文件不能有效访问。站长可以在资源平台-【Robots】工具查看robots文件的访问情况。 (2)文件暂未生效。robots文件在结果中生效一般需要1-2周,可以关注。 4 、【Robots】工具校验提示解读? 可能出现以下情况: 显示错误码404,robots文件可能无法被访问。 显示错误码301,robots文件可能存在跳转。 显示错误码500,robots页面访问失败。 以上情况时,建议自查robots文件情况针对性优化后,重新提交校验。 4、robots文件误封禁,如何处理? (1)修改robots文件,封禁改为允许。 (2)在搜索资源平台检测并更新robots文件,若显示抓取失败,可以多尝试点击几次,触发蜘蛛抓取站点。 (3)关注【抓取频次】数据情况,可以适当调整抓取频次。 (4)可以使用【链接提交】,主动提交相关资源链接。 免责声明:转载内容来自于百度搜索资源平台,仅用于学习使用,如有异议请及时联系,本人将予以删除。 |