北京googel推广提供原文，转载请注明链接！
搜索引擎的工作包括如下3个过程：
一．在互联网中发现、搜集网页信息
二．对搜索引擎的信息进行提取和组织
三．由检索程序根据用户输入的查询关键词，在索引库中快速坚持相关文档，进行文档与查询内容相关度比较，对检出的结果进行排序，并将结果返回给用户。
因此，搜索引擎通常由网页搜集、网页索引、查询和用户界面几个模块组成。从结构上讲，可以将搜索引擎分为集中式和分布式结构。
集中式
大多数搜索引擎都采样集中式的“网页收集器＋索引器”的结构。搜集器是一个软件程序，它遍历网络，发回新的或更新过的网页，然后将发送回的数据存储在主服务器上，并建立索引。
收集器也称为机器人、蜘蛛、网络爬虫。尽管它有这样的名字，但它并不是实际地在异地的机器上运行，而是在本地系统中运行，向异地的Web服务器发送请求读取网页。索引用集中化的方式回答网络中不同地方提交的查询。
搜索引擎的软件结构包含3个部分：与用户打交道的用户界面、执行查询任务的搜索引擎模块以及处于后台的“收集器＋索引器”模块。这种结构所面临的主要问题是数据的收集。
随着Web数据量的高速增长、通信线路的饱和以及Web服务器的超载，收集器＋索引器的结构将很难适应几个问题：因为搜集器遍历了整个网络，所以网络流量增加了，但其中的大部分内容都是没有用的；Web服务器接受来自不同收集器的请求，增加了他们的负载量；信息是由每个收集器独立收集的，所有的搜索引擎之间并没有协调。
分布式
为了解决集中式结构所带来的弊端，现代搜索引擎采用了分布式结构。这种分布式方法解决了收集器＋索引器结构中所出现的问题。针对以上问题，分布式结构引人了两个部件：收集器和中介器。收集器从一个或多个网络服务器收集和提取索引信息，周期性地收集，时间由系统确定
。中介器则提供索引机制，并为收集到的数据提供查询接口。此外，中介器还从一个或多个收集器及其他中介器上检索信息，并不断地更新索引。
依靠收集器和中介器的配置，能在不同方面改进服务器的负载和网络流量。例如，收集器运行在Web服务器上，这个服务器就不会有外部的信息流。
此外，一个收集器可以给多个中介器发送信息，避免了工作上的重复。中介器还能够过滤信息，并把它发送给其他的中介器。这种设计允许以更灵活、更一般的方式来共享工作信息。
北京网站优化服务－汉联SEO