基于字频向量的中文文本自动分类系统   总被引：15，自引：3，他引：12  

王梦云  曹素青 《情报学报》2000,19(6):644-649

本文提出了一种根据汉字统计特性和基于实例映射的中文文本自动分类方法。该方法采用汉字字频向量作为文本的表示方法。它的显著特点是引入线性最小二乘方估计技术建立文本分类器模型,通过对训练集语料的手工分类标引以及对文本和类别间的相关性判定的学习,实现了基于全局最小错误率的汉字一类别两个向量空间的映射函数,并用该函数对测试文本进行分类。  相似文献   

一种基于类别信息的文本自动分类模型   总被引：2，自引：0，他引：2  

刘海峰  刘守生  张学仁  苏展 《现代图书情报技术》2010,26(4):72-76

从理论角度分析基于互信息的特征选择方法的不足,提出一种改进的互信息特征选择方法;针对向量空间模型在文本表示方面的问题,使用类别空间模型将文本表示为矩阵,有效利用文本的类别信息,实现一种基于类别信息的文本分类算法。对中文文本的分类实验结果表明,该文本分类方法具有良好的分类效果。  相似文献   

一种基于位置的改进中文文本特征选择   总被引：2，自引：1，他引：1  

刘海峰  赵华  刘守生 《图书情报工作》2009,53(21):102-105

通过引入位置因素修改TF IDF因子进行初次特征选择,提出一种基于位置的文本特征加权改进模型;再借助类别信息构造类别向量提高文本类别表示能力,进一步提出一种位置加权模式下基于类别信息的文本特征加权改进模型。随后的文本分类试验表明,该加权模型相较于传统的TF IDF方法,具有更好的文本分类效果。  相似文献   

基于潜在语义分析和改进的HS-SVM的文本分类模型研究   总被引：1，自引：0，他引：1  

张玉峰  何超 《图书情报工作》2010,54(10):109-113

为提高文本分类的准确性与效率,提出一种基于潜在语义分析和改进的超球支持向量机的文本分类模型。该模型利用潜在语义分析进行特征抽取,消除同义词和多义词在文本表示时所造成的偏差,实现文本向量的降维。针对超球重叠区域的文本分类问题,设计一种新的决策方法-基于密集度的决策策略。实验结果表明,该模型在类别数目较小时具有较好的分类效果,改进的算法有效可行。  相似文献   

基于潜在语义索引的SVM文本分类模型     

郭武斌  周宽久  张世荣 《情报学报》2009,28(6)

本文将潜在语义索引理论与支持向量机方法相结合,对文本向量各维与文本的语义联系进行特征抽取,建立了完整的基于潜在语义索引的支持向量机文本分类模型,分析了该方法与分词的维数以及SVM惩罚因子选择之间的关系.并在NN-SVM分类算法的基础上,通过计算样本点与其最近邻点类别的异同以及该点与其k个同类近邻点在核空间的平均距离来修剪混淆点,提出了一种改进的NN-SVM算法:KCNN-SVM算法.利用该算法对降维后的训练集进行修剪.实验表明,用新的模型进行文本分类,与单纯支持向量机相比,受到文本分词维数以及支持向量机惩罚因子的影响更小,其分类正确率更高.  相似文献   

多层次web文本分类   总被引：8，自引：0，他引：8  

凌云  刘军  王勋 《情报学报》2005,24(6):684-689

传统的文本分类大多基于向量空间,分类体系为甲面体系,忽视了类别间的层次关系。根据LSA理论提出了一种多层次web文本分类方法。建立类模型时,根据类别的层次关系树由下到上逐层为具有相同父节点的类别建立一个类模型;分类时,由上到下,根据相应的类模型存LS空间上分类。这种分类方法解决了LSA模型中高维矩阵难以进行奇异值分解的问题。同时体现了web文本中词条的语义关系,注重了词条在网页中的表现形式。实验表明,多层次web文本分类方法比基于平面分类体系的分类方法在查全率和准确率方面要好。  相似文献   

基于概念簇的文本分类算法     

马甲林  刘金岭  金春霞 《图书情报工作》2013,57(15):132

针对传统文本分类算法在向量空间模型表示下存在向量高维、稀疏以及忽略特征语义相关性等缺陷所导致的分类效率低和精度不高的问题,以知网(HowNet)为知识库,构建语义概念向量模型SCVM(Semantic Concept Vector Model)表示文本,根据概念语义及上下文背景对同义词进行归并,对多义词进行排歧,提出基于概念簇的文本分类算法TCABCC (Text Classification Algorithm Based on the Concept of Clusters),通过改进传统KNN,用概念簇表示各个类别训练样本,使相似度的计算基于文本概念向量和类别概念簇。实验结果表明,该算法构造的分类器在效率和性能上均比传统KNN有较大的提高。  相似文献   

基于SUMO和WordNet本体集成的文本分类模型研究   总被引：1，自引：0，他引：1  

胡泽文  王效岳  白如江 《现代图书情报技术》2011,27(1):31-38

针对传统文本分类方法和目前语义分类方法中存在的问题,提出基于SUMO和WordNet本体集成的文本分类模型,该模型利用WordNet同义词集与SUMO本体概念之间的映射关系,将文档-词向量空间中的词条映射成本体中相应的概念,形成文档-概念向量空间进行文本自动分类。实验表明,该方法能够极大降低向量空间维度,提高文本分类性能。  相似文献   

基于词语上下文关系的文本自动分类方法研究     

郭少友 《现代图书情报技术》2008,24(5):44-49

用词上下文向量来表达文本集内一个词语与其他词语之间的上下文关系,并在词上下文向量的基础上生成分类器中所有类别的类别特征向量,以及待分类文本的特征向量,最后由分类器给出待分类文本的所属类别。实验显示,在类别特征向量和文本向量中融入词语上下文关系有助于改善文本分类效果。  相似文献   

Web自动文本分类技术研究综述   总被引：1，自引：0，他引：1  

蒲筱哥 《情报学报》2009,28(2)

Web自动文本分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.本文首先分析了国内外Web自动文本分类方法的研究现状,接着对新近出现的多分类器融合的方法、基于群的分类方法、基于RBF网络的文本分类模型、基于模糊-粗糙集的文本分类模型、潜在语义分类模型等新方法,以及K-近邻算法和支持向量机的新发展等进行了深入探讨;并对Web自动文本分类过程中的几个关键技术:文本预处理、文本表示、特征降维、训练方法和分类算法等进行了分析;最后总结了当前Web自动文本分类技术存在的问题及其发展趋势.  相似文献   

基于中介词典的网络图书分类体系映射研究     

何琳  常颖聪  周百超  杨波 《图书情报工作》2012,56(14):126-130

采用以《中国图书馆分类法》为中介词典的兼容映射思想,根据向量空间模型原理构造映射函数,分别对当当网、卓越亚马逊、京东商城三个网上书店的网络图书分类体系与《中国图书馆分类法》进行类目相似度的映射,并根据类目相似值制订详细的类目映射关系规则。通过对映射关系进行横向及纵向分析,为未来的网络分类体系构建提出建议,最后指出本研究的不足及下一步需要改进的工作。  相似文献   

Hierarchical Text Categorization Using Neural Networks   总被引：8，自引：1，他引：7  

Miguel E. Ruiz  Padmini Srinivasan 《Information Retrieval》2002,5(1):87-118

This paper presents the design and evaluation of a text categorization method based on the Hierarchical Mixture of Experts model. This model uses a divide and conquer principle to define smaller categorization problems based on a predefined hierarchical structure. The final classifier is a hierarchical array of neural networks. The method is evaluated using the UMLS Metathesaurus as the underlying hierarchical structure, and the OHSUMED test set of MEDLINE records. Comparisons with an optimized version of the traditional Rocchio's algorithm adapted for text categorization, as well as flat neural network classifiers are provided. The results show that the use of the hierarchical structure improves text categorization performance with respect to an equivalent flat model. The optimized Rocchio algorithm achieves a performance comparable with that of the hierarchical neural networks.  相似文献   

《汉语主题词表》与英文超级科技词表概念映射构架设计     

常春  曾建勋  吴雯娜  宋培彦  刘伟  邓盼盼 《数字图书馆论坛》2012,(12):27-31

在网络时代,知识组织体系映射有利于实现信息的集成检索与获取。文章设计了《汉语主题词表》（工程技术版）与英文超级科技词表的概念映射模型,包括中文与英文词表的概念语义映射方法、概念映射数据描述、机器辅助和最短距离映射规则等,并讨论了中英文双语检索模型的应用前景。同时,基于英文超级科技词表的概念关系网络及其中文规范译名,提出了《汉语主题词表》扩充和完善的方法,从而更好地实现中英文概念映射,使英文超级科技词表在知识检索和知识发现中发挥更大的作用。  相似文献   

基于内码替换的汉字笔划排序系统的设计与实现     

白振田  衡中青 《新世纪图书馆》2006,(4):47-49

论文在先期自动汉字笔划属性采集排序基础上，采用汉字等价置换方法，利用内码提取函数进行地址计算。设计实现了一个汉字笔划排序系统：论文对该笔划排序系统的设计思路、算法实现步骤等进行了详细讨论并对该排序系统的使用进行了有关说明和评价。  相似文献   

面向新闻领域的中文文本分类研究综述   总被引：1，自引：0，他引：1  

薛春香  张玉芳 《图书情报工作》2013,57(14):134-139

在对文本分类及中文新闻分类概述的基础上,归纳出网络新闻文本特征及当前新闻文本分类特点,并总结新闻文本分类在新闻网站分类导航、话题识别与跟踪、个性化推荐三方面的应用。其后,总结中文新闻分类存在的问题,诸如缺乏通用语料和评价方法、分类体系粗略、分类维度单一等,并提出相应措施。最后,针对当前信息环境,提出新闻分类不仅将朝着多层次、多维度、跨语言方向发展,还将与多媒体信息、大数据、社会化媒体相结合。  相似文献   

基于向量空间模型的古汉语词义自动消歧研究     

常娥  张长秀  侯汉清  惠富平 《图书情报工作》2013,57(2):114-118

借鉴现代汉语词义消歧的研究成果,提出一种改进的向量空间模型词义消歧方法,即在古汉语义项词语知识库的支持下,将待消歧多义词上下文与多义词的义项映射到向量空间模型中,完成语义消歧任务。以中国农业古籍全文数据库为统计语料,对10个典型古汉语多义词,共29个义项、1 836条待消歧上下文进行义项标注的实验,消歧平均正确率达到79.5%。  相似文献   

基于本体的中医知识图谱构建          下载免费PDF全文

张德政  谢永红  李曼  石川 《情报工程》2017,3(1):035-042

为了更加有效地分析中医药知识之间的联系,优化知识的检索,共享中医领域知识,使中医更好的进行传承。本文提出了基于本体的中医核心知识图谱表示及其构建方法,研究了中医本体与知识图谱的映射方法,实现了于中医本体的中医核心知识图谱的构建,并进一步研究和实现多源知识获取技术及基于知识图谱的名老中医临证经验的发现,为进一步构建中医领域全面的知识图谱,挖掘整理中医临证经验与学术思想及建立基于信息检索技术的中医知识服务打下坚实基础。  相似文献   

基于多层特征的字符串相似度计算模型   总被引：12，自引：6，他引：12  

章成志 《情报学报》2005,24(6):696-701

针对计算字符串相似度传统方法的不足之处,提出以相似元作为字符串的基本处理单元,综合考虑相似元的字面、语义及统计关联等多层特征的字符串相似度计算方法。对常规计算方法中存在的,由相似元排序引起的相似元位置信息丢失问题进行了修正。实验结果表明该算法的有效性,并且对句子间、段落间的相似度计算有启发意义。  相似文献