搜集信息的预处理-网页净化和消重

seo优化培训教程 ： 2013-11-27 - 微博运营

在上一节的《3.1.3、搜集信息的预处理–分析页面和建立倒排文件》中我们说过，搜索引擎在预处理的第一步就是要先进行网页的分析，本节将对这部分的内容进行展开。网页. ...

搜集信息的预处理-分析页面和建立倒排文件

seo优化培训教程 ： 2013-11-27 - 微博运营

在上一节的《3.1.2、搜集信息的预处理–中文分词技术》中我们说过，要对网页进行关键词到网页的索引就必须先对网页进行中文分词，然后建立倒排文件，那么具体的流程是. ...

搜集信息的预处理-中文分词技术

seo优化培训教程 ： 2013-11-27 - 微博运营

在上一节的《3.1.1、搜集信息的预处理–索引网页库》中我们介绍了索引网页库的组成部分，当然那是为了搜索引擎通过URL快速定位网页所设计的，而在实际应用中，搜索引擎. ...

搜集信息的预处理-索引网页库

seo优化培训教程 ： 2013-11-27 - 微博运营

在搜索引擎原理中，给网页建立索引是一个很重要的工作，它预示着该网页已经得到搜索引擎的认可，有可能出现在搜索结果页面中，任何没有进入索引网页库的网页，都不可能出现. ...

搜集信息的预处理-系统结构

seo优化培训教程 ： 2013-11-27 - 微博运营

在第二章我们介绍了搜索引擎原理中的网页搜集模块，本文接着讲搜索引擎下一个模块：预处理模块。在这个模块中，搜索引擎完成的主要任务是索引网页库的建立、中文分词的实现. ...

可扩展搜索子系统-系统的动态可配置性设计

seo优化培训教程 ： 2013-11-27 - 微博运营

可扩展搜索子系统需要解决2大问题，第一是节点间URL的划分策略，第二是系统的动态可配置性设计。黄聪已经在上一节《2.6.1、可扩展搜索子系统–节点间URL的划分策略》分. ...

可扩展搜索子系统-节点间URL的划分策略

seo优化培训教程 ： 2013-11-27 - 微博运营

在《2.6、页面搜集原理、技术和系统–可扩展搜索子系统》中我们知道一个好的搜索子系统需要解决2大问题，第一是节点间URL的划分策略，第二是系统的动态可配置性设计。. ...

页面搜集原理、技术和系统-可扩展搜索子系统

seo优化培训教程 ： 2013-11-27 - 微博运营

在《2.2、页面搜集原理、技术和系统–搜集过程》中我们知道调度器需要分配蜘蛛去抓取网络上的网页，但是网络上的页面数量是百亿级别的，如果调度器只是简单的一个服务. ...

页面搜集原理、技术和系统-如何首先搜集重要的网页

seo优化培训教程 ： 2013-11-27 - 微博运营

在《2.4、页面搜集原理、技术和系统–如何避免网页重复搜集》中我们知道调度器通过未访问URL表和已访问URL表来实现避免网页重复搜集，但是因为网络上的URL很多，如果调. ...

页面搜集原理、技术和系统-如何避免网页重复搜集

seo优化培训教程 ： 2013-11-27 - 微博运营

在《2.2、页面搜集原理、技术和系统–搜集过程》中我们知道调度器会派发URL给各个蜘蛛进行网页的抓取，但是怎样才能避免同一个URL会被重复的抓取呢？调度器是如何确保. ...