基于标签样式和密度模型的网页正文自动抽取 |
| |
引用本文: | 廖建军.基于标签样式和密度模型的网页正文自动抽取[J].情报科学,2018,36(7):123-129. |
| |
作者姓名: | 廖建军 |
| |
摘 要: | 【目的/意义】为给数字出版知识服务系统提供高质量的文本语料以供知识抽取,本文提出了基于标签样式
和密度模型来抽取网页正文的方法。【方法/过程】该方法先根据标签样式将网页文本进行分块,再根据各块文本内
容的文本密度、标点密度、非超链接密度计算出综合密度,最后通过阈值判断抽取出网页中信息含量高的正文。【结
果/结论】该方法简单高效无需人工编写规则或训练,能完整地抽取出网页正文。通过随机选取新闻网页进行实
验,结果表明该方法能有效地自动抽取网页正文,适用于不同设计风格的网站,而且准确率和召回率优于基于统计
的 CEPR抽取方法。
|
|
| 点击此处可从《情报科学》浏览原始摘要信息 |
| 点击此处可从《情报科学》下载免费的PDF全文 |
|