北京google优化原文，转载请注明链接！
为什么有的网页会很快被Google、百度等搜索引擎收录，而有的网页却不被搜索引擎认可，迟迟不收？我们首先要了解搜索引擎对网页抓取的策略。
搜索引擎会有一个页面抓取优先策略，也称为“页面选择问题”，通常是尽可能地首先抓取重要性的网页，这样保证再有限的资源内尽可能地照顾到那些重要性高的网页。重要性度量由链接欢迎度、链接重要度和链接深度这3个方面决定。
链接欢迎度
主要由反向链接的数目和质量决定。对于数目，一个网页有越多的链接指向它（反向链接数多），那么表示其它网页对其的认可度就高，同时这个网页被访问的机会就大。这样推测出网页的重要性也就越高。对于质量，这个网页如果被很多重要性高的网页所指向，那么其重要性也就越高。如果不考虑质量，就会出现具备最优，而不是全局最优的问题。最典型的就是作弊网页，人为地在一些网页中设置了大量反向链接指向其自身的网页，以提高该网页的重要性。如果不考虑链接质量，就会被那些利用SEO技术作弊者所利用。
链接重要度
链接重要度是一个关于URL字符串的函数，考查的是字符串本身。链接重要度主要通过一些模式来确认，如认为包含“.com”或者“home”的URL重要度高，以及具有较少斜杠的URL重要度高等。简单讲，首页大于二级页面，二级页面大于三级页面。这与正常的网站内容分布也是匹配的，重要的内容一般都会在安排首页和栏目页面。
平均链接深度
平均链接深度，表示在一个种子站点集合中，每个种子站点如果存在一条链路到达该网页，那么平均链接深度就是一个重要性指标。因为距离种子站点越近，说明被访问的机会越多，因此重要性越高。可以认为种子站点是那些重要性最高的网页，离种子站点越远，重要性越低。事实上，按照广度优先的遍历规则即可满足这种重要性高的网页被优先抓取的需要。
对搜索引擎而言，还要考虑到互联网随时间而动态变化的一面。例如，如何抓取那些新增的网页，如果重访那些被修改了的网页，如果发现那些被删除了的网页。