从网站robots设置看百度检索新站规则

发布时间：2020-03-09 15:05:57 阅读：次来源：周转箱厂家

搜索引擎其诞生的重要意义就是在日益浩瀚的互联网资料中为用户提供便捷的查询服务，其本质的要求就是“查的快、全、准、稳”，在节约人们查询时间的同时提供最权威的服务。一般搜索引擎在给予网站排名时可以简单的归为下载、分析、索引和检索，很多seoer在从事网站建设时都想摸透网站排名的规则，从而获得更好的排名。从目前市场上各种seo培训机构、交流群、论坛等就可以看出，大家都在不懈余力通过搜索引擎的各种现象来论证新的观点，从而在未来的seo优化中获得更好的发展。

龙形近日在优化公司的新网站时，意外的发现一个想象，那就是百度蜘蛛抓取网站和检索时会有一定的时间差。很多seoer在网站上线初期由于各种原因都会设置robots，从而更好的指导搜索引擎抓取网站内容，龙形新网站主要是关于农药残留检测仪等农业速测仪器的网站，在上线初期由于需要完善一些样式和程序，所以就通过robots完全屏蔽了所以蜘蛛对网站内容的抓取。在12月9号网站调试完毕去除robots后历经一周查看收录情况，谷歌和360都有收录，尤其是谷歌已经收录47条内容，而百度收录一直为0。

龙形开始反思是不是自己的优化触犯了百度抓取规则，想想自己在网站上线之初就更新了不少内容，而后每天都会定时的更新2篇原创文章，同时做一些高质量的外部链接。因此，在内容上龙形的这个有关农药残留检测仪的网站绝对的没有问题，进而检测网站的程序有无漏洞，网站有没有死链接，网站的服务器等是否稳定，有没有遭受木马或者攻击，网站能否被蜘蛛正常索引等，通过影响力的检测发现网站还是没有大的问题。那到底是哪个方面出现了差错，一时之间让龙形这个已有2年优化历史的seoer突然感觉束手无策，无法找到问题的关键所在。

就在龙形感觉到无奈决定等待时，突然想到了百度站长工具，于是就赶紧验证下后台，看看能否从中发现问题所在。16号龙形打开百度站长工具时发现百度发来的消息提醒，打开后才发现是我的这个农药残留检测仪网站设置了robots，百度无法抓取我的网站，如图：

按说不应该出现这种情况，网站的robots在9号就已经删除了，为什么百度还是发出这样的提醒，难得是数据库出现了错误?龙形进一步的通过百度站长平台的robots工具检测有关农药残留检测仪这个网站的情况，检测结果明确的指出：“您的网站没有t文件，表示您允许搜索引擎可以抓取您网站全部的内容”：如图：

那既然百度站长平台都检测出网站没有robots文件，那为什么今天百度站长平台还是发出了robots屏蔽提醒?就在龙形迷惑之计猛然想到之前的一位seo朋友说过：“搜索引擎目前最大的压力就是数据库压力”，联系到龙形这个新站的情况龙形终于明白了问题的所在了。由于互联网每天都会新生大量的网站数据，给搜索引擎的数据库带来很大的压力，很大搜索引擎为了给用户提供稳定而又可靠的数据，同时又减轻网站的数据库压力，往往在抓取的过程中采取不同的抓取策略。对于那些大型的网站采取每天定时抓取，及时检索，而对于其他一些小网站在抓取和检索时可能就会有一定的延后。龙形的网站由于新上线本身蜘蛛光临的就比较少，加上在抓取和检索时间段也有时间差，从而导致百度在检索龙形的网站时是之前蜘蛛抓取的数据，进而发现了网站的robots造成百度蜘蛛无法爬行，进而导致网站一直没有快照。

那么遇到这种情况改如何解决呢?好在百度站长平台人性化的设计，如果遇到和龙形相关的问题时，完全可以通过robots检测工具通知百度重新检测，百度会在24小时内把检测结果反馈给站长。农药残留检测仪