这里的模拟非常简单和傻瓜,但可以说明搜索引擎是如何处理页面的过程。

这里的模拟非常简单和傻瓜,但可以说明搜索引擎是如何处理页面的过程。
第一步:通过蜘蛛抓取页面;
什么是蜘蛛?
如何抓取页面?以文本形式下载,送会服务器。
第一步:通过蜘蛛抓取页面
什么是蜘蛛?
Googlebot、baiduspider、
Yahoo、Slurp、Msnbot
如何抓取页面?
以文本形式下载,送会服务器。
可能会做一些预处理,比如:压缩等
可能妨碍蜘蛛抓取的行为:跳转、识别分辨率。
第二步:网页文件处理
首先过滤所有HTML标签、CSS样式表、JS代码
工具:http://tool.chinaz.com/htmlfilter
以百度为例:
百度首页经过处理后得到后的样子
百度一下,你就知道新 闻网 页贴 吧知 道MP3图 片帮助高级 空间 | 更多>>把百度设为首页企业推广|搜索风云榜|关于百度|AboutBaidu©2019Baidu使用百度前必读京ICP证030173号
第三步:识别文字内容
通过对过滤后文字内容的分析,来判断网页的核心内容。
百度一下,你就知道新 闻网 页贴 吧知 道MP3图 片帮助高级 空间 | 更多>>把百度设为首页企业推广|搜索风云榜|关于百度|AboutBaidu©2019Baidu使用百度前必读京ICP证030173号
搜索引擎程序通过对上面文字的分析,发现以下信息:
1.一共有95个字符;其中56个中文字。
2.“百度”出现4次,共8个中文,占16个字符。
3.8÷56≈0.14 ≈14% 16÷95 ≈ 0.16≈16%
判断结论:本页面和关键词“百度”有密切关系。
第四步:进行权重分值技术
假设关键词重复1次得1分,那百度首页的得分就是“4”
当然,搜索引擎的真实计算过程非常负责,有数百个参数参与计算。
YAHOO!的工程师告诉我:
“所有搜索引擎最核心的是外部链接的技术和关键词密度的技术”
第五步:存入排名数据库
通过以上各种分析后,一个页面就可以存入排名数据库了(也叫索引数据库)。
百度首页就可能放入一个叫“百度”的小数据库中。
以后当用户搜索“百度”时,就打开“百度”小数据库,然后按分值排列,做成HTML展示到用户面前。
搜索引擎的处理过程:
就好比把采来的草药,经过处理,放入对应的抽屉中一样。

本文来自投稿,不代表Rabbit主题立场,如若转载,请注明出处:http://rabbit.quanbaike.com/382.html