|
|||||
|
|
| 分布式Crawler系统研究与设计 | |
| 引用本文： | 万方,王大震.分布式Crawler系统研究与设计[J].教育技术导刊,2007(9). |
| 作者姓名： | 万方 王大震 |
| 作者单位： | 湖北工业大学计算机学院 湖北武汉430068 |
| 摘 要： | 分布式Crawler系统是在传统集中式信息采集系统基础上,结合分布式并行技术的产物,是搜索引擎的一个重要组成部分。研究了分布式Crawler系统中并行调度和URL处理的主要实现技术,并设计了一个分布式Crawler系统,对其中的任务划分机制和URL检索算法作了详细描述。 |
| 关 键 词： | 分布式Crawler 并行调度 URL检索 |
| 本文献已被 CNKI 等数据库收录！ | |