写这篇文章的目的是因为最近看了一些算法书籍,对搜索引擎核心算法有了个大致的了解,就当做个笔记吧。

搜索引擎的核心思想就是索引,类似书籍的目录,索引技术其实最早起源于古巴比伦图书馆,这个伟大的发明不是现在计算机科学的产物,如果没有索引,想象一下在一本书中查找想要的内容,就需要一页一页的查询,运气好的很快能找到,运气不好在最后一页出现的话,前面所有的时间都白白浪费了,索引就很好的解决了这个问题,因为索引信息量少,很精简,基本上几页就能描述整本书的大体内容结构。举个例子,我们在词典上查询一个词“乘风破浪“,那我们肯定会翻到字母c开头的目录页查找这个词所在的页码,然后翻到对应页面查看具体这个词是什么意思。搜索也是一样的,我们在搜索引擎搜索“乘风破浪”,搜索引擎会有一个索引数据库,这个数据库中存放了“乘风破浪”---第5页,然后展示出来,当然还有一些第五页这个网页的一些描述信息。

除了简单的索引,还有一个问题急需解决,那就是我搜索多词的时候,搜索引擎怎么处理,比如我搜“屋子 草莓”,我们知道“屋子“、“草莓“在第一页、第二页都出现,但是两个词出现的位置相邻距离不同,那“屋子 草莓”搜出来的页面怎么排序?很显然,两个词距离相近应该排在前面,所以在索引信息中只记录一个词出现的页数是不够的,还需要记录这个词出现的位置,比如屋子----1-2 2-10 代表第一页的第二个位置,第二页的第十个位置,草莓----1-3 2-16代表第一页的第三个位置,第二页的第十六个位置。很明显第一页两个词相邻近就应该排在前面。

网页中除了正文,其实还有用户在浏览器上看不到的标签数据,如<title> </title> <body></body> 搜索引擎一般也将标签数据记录在索引中,如<title> 2-10 </title> 2-50 记录后搜索引擎就能满足一些特殊搜索,如用户搜索在网页title标签中的关键字 由于关键字在索引中也有记录位置 所以在title标签中的位置就变成了简单的数学比较运算。

搜索引擎的核心排名机制是什么样的?这要追溯到谷歌创始人发表的pageRank论文中的排名算法。一开始搜索引擎根据超链接来决定一个网页的权重,比如a->b ,c->b 那a的权重是1,c的权重是1,b的权重是1+1=2,所以哪个网页的超链接多,哪个网页的权重值就大,但是这会造成一个严重的问题,比如 a->b ,c->b,b->a 这种循环链接的方式就会让网页的权重一直增加,于是pageRank论文中就提出了一种随机访问思想,模拟用户访问网页形式,从一个网页随机访问超链接,跳入下一个网页,再随机访问超链接,这样执行几万百万次,得出访问过程中网页被访问的概率就是这个网页的权重,这种方式可以很好和超链接方式获取的权重相结合。

现代搜索引擎除了上述这些核心算法外,还做了很多很多事情,其复杂程度非常高,比如搜索引擎需要解决人为故意增加一些垃圾超链接来提升权重,还有一些关键字与网页相关度优化等。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注