类似网页的误解和风波
| 类似网页 |
该 Google 网络搜索功能使您可以查找与搜索结果中实际显示的网页具有类似内容的网页。类似网页功能可用于多种用途。如果您喜欢特定网站的内容，但希望了解更多信息，类似网页可以找到包含您可能并不熟悉的类似内容的网站。如果您要查找产品信息，类似网页可以找到竞争的产品信息，从而可以让您直接进行比较。如果您有兴趣对特定领域进行研究，类似网页可以帮您非常快速地找到大量资源，而不必费劲心思选择正确的关键字。
这个是google的解释,但是最近我的站点也出现了类似网页,
而且只有个URL和类似网页,
后来以为是google的内部规则发生了变化,在网上也查了很长时间,没有结果,
然后在自己的google管理员工具发现
什么是"网址受到 robots.txt 的限制"错误？
出现了受限制的站点的提示
什么是"网址受到 robots.txt 的限制"错误？
Google 因受 robots.txt 限制而无法抓取此网址。这种情况可能是由多种原因造成的。例如，您的 robots.txt 文件可能完全禁止了 Googlebot；它可能禁止了对此网址所在目录的访问，也可能特别禁止访问此网址。通常，这并不属于错误。您可能专门设置了一个 robots.txt 文件来阻止我们抓取此网址。如果是这种情况，则无需更正；我们将继续遵循此文件的 robots.txt。
这个是相关的介绍,
把robots.txt删除后,过上1个星期看蜘蛛能爬的过来不!