了解搜索引擎-排名展现过程

经过搜索引擎蜘蛛抓取页面,索引程序计算得到倒排索引后,搜索引擎就已准备好,可以随时处理用户搜索了。用户在搜索框中输入查询词后,排名程序就会调用索引库数据,计算排名并显示给用户。排名过程是与用户直接互动的。

(1)搜索词处理

搜索引擎接收到用户输入的搜索词后,需要对搜索词做一些处理,才能进入排名过程。搜索词处理包括以下几个方面。

1)中文分词。与页面索引时一样,搜索词也必须进行中文分词,将查询字符串转换为以词为基础的关键词组合。其分词原理与页面分词相同。我们可以返回上一节预处理中查看中文分词。

2)去停止词。和页面索引时一样,搜索引擎也需要把搜索词中的停止词去掉,最大限度地提高排名相关性及排名效率。

3)指令处理。查询词完成分词后,搜索引擎的默认处理方式是在关键词之间使用与逻辑。也就是说,用户搜索“减肥方法”时,程序分词为“减肥”和“方法”两个词,搜索引擎排序时默认用户寻找的是既包含“减肥”,又包含“方法”的页面。

4)拼写错误矫正。用户如果输入了明显错误的字或错误的英文单词拼法,搜索引擎会提示用户正确的用字或拼法,并进行矫正。

5)整合搜索触发。某些搜索词会触发整合搜索,比如明星的姓名就经常触发图片和视频内容,当前的热门话题又容易触发资讯内容。哪些词触发哪些整合搜索,也需要在搜索词处理阶段计算。

6)搜索框提示。用户在搜索框输入查询词的过程中,搜索引擎就会根据热门搜索数据给出多组相关的查询词,减少用户的输入时间。

7)理解搜索真实意图。对查询意图的理解无法通过关键词的匹配实现,目前是以人工智能,机器学习的方法为主,而且进展快速。

(2)文件匹配

搜索词经过处理后,搜索引擎得到的是以词为基础的关键词集合。文件匹配阶段就是找到包含所有搜索关键词的所有文件。

(3)初始子集的选择

找到包含所有关键词的匹配文件后,还不能进行相关性计算,因为找到的文件通常会有几十万、几百万,甚至上亿个。要对这么多文件实时进行相关性计算,需要很长时间。

实际上,用户并不需要知道所有与关键词匹配的几十万,几百万个页面,大部分用户只会查看前几页的搜索结果。搜索引擎也不需要计算这么多页面的相关性,而只要计算最重要的一部分页面即可。

但是问题在于,在还没有计算相关性时,搜索引擎又怎么知道哪个文件是最相关的呢?所以选择用于最后相关性计算的初始页面子集时,必须依靠其它特征而不是相关性,其中最主要的就是页面权重。

(4)相关性计算

选出初始子集后,计算子集中的页面与关键词的相关性。计算相关性是排名过程中最重要的一步。

(5)排名过滤及调整

选出匹配文件子集、计算相关性后,大体排名就已经确定了。之后搜索引擎可能还有一些过滤算法,对排名进行轻微调整,其中最主要的过滤就是施加惩罚。一些有作弊嫌疑的页面,虽然按照正常的权重和相关性计算排到前面,但搜索引擎的惩罚算法却可能在最后一步把这些页面调到后面。

(6)排名显示

所有排名确定后,排名程序调用原始页面的标题标签、说明标签、页面发布或更新时间、结构化数据等信息显示在搜索结果页面上。如果页面没有说明标签,或说明标签写得不好,搜索引擎也会从页面正文中动态生成页面说明文字。

(7)搜索缓存

用户搜索的查询词有很大一部分是重复的。按照二八定律,20%的搜索词占到了总搜索次数的80%。按照长尾理论,最常见的搜索词即便没有占到80%那么多,通常也有一个比较粗大的头部,很少一部分搜索词占到了所有搜索次数的很大部分。尤其是有热门新闻发生时,每天可能有几百万人都在搜索完全相同的词。

如果每次搜索都重新处理排名,可以说是很大的浪费。搜索引擎会把最常见的查询词及结果存入缓存,用户搜索时直接从缓存中调用,而不必经过文件匹配和相关性计算,大大提高了排名效率,缩短了搜索反应时间。

(8)查询及点击日志

搜索用户的IP地址、搜索词、搜索时间,以及点击了哪些结果页面,搜索引擎都会记录并形成日志。这些日志文件中的数据对搜索引擎判断搜索结果质量、调整搜索算法、预期搜索趋势、开发人工智能算法等都具有重要意义。
  • 关于我们

    公司简介 企业文化 发展历程 企业荣誉
  • 产品与服务

    网站建设 小程序开发 APP开发 软件开发 运维服务
  • 解决方案

    营销推广 电商平台开发 数字营销 物联网
  • 最新动态

    通知公告 行业资讯 相关文章 行业百科
  • 快速入口

    商贸云进销存系统 美业云收银管理系统 客户信息管理系统 站群内容管理系统
  • 微信号(客服)

  • 微信公众号

  • 版权所有 © 科速 专注于珠海网站建设网站开发微信开发APP开发软件开发,专业做网站珠海网络公司 粤公网安备44040202000240号 粤ICP备09213555号 问题反馈 联系方式
    客服
    电话
    微信
    业务咨询:0756-8600229
    扫码加微信好友

    您也可以添加[业务微信]与我们联系!

    返回顶部