共查询到18条相似文献，搜索用时 187 毫秒
1.
专有名词的自动抽取是文本挖掘、信息检索和机器翻译等领域的关键技术.本文研究了组合SVM和KNN两种分类器进行汉语专有名词自动抽取的方法.对样本在空间的不同分布使用不同的分类方法,当测试样本与SVM最优超平面的距离大于给定的阈值时使用SVM分类,否则使用KNN;在实际训练语料中,常常是负类样本数远多于正类样本数,而传统KNN方法对不平衡训练集存在敏感性,所以提出了用归一化的思想对传统的KNN方法进行修正.实验表明,用SVM与修正的KNN组合算法进行汉语专有名词抽取比单一的SVM方法以及原始的SVM-KNN方法更具优越性,而且这种方法可以推广到其他非平衡分布样本的分类问题. 相似文献
2.
3.
文本分类是信息检索领域的重要应用之一,由于采用统一特征向量形式表示所有文档,导致针对每个文档的特征向量具有高维性和稀疏性,从而影响文档分类的性能和精度。为有效提升文本特征选择的准确度,本文首先提出基于信息增益的特征选择函数改进方法,提高特征选择的精度。KNN(K-Nearest Neighbor)算法是文本分类中广泛应用的算法,本文针对经典KNN计算量大、类别标定函数精度不高的问题,提出基于训练集裁剪的加权KNN算法。该算法通过对训练集进行裁剪提升了分类算法的计算效率,通过模糊集的隶属度函数提升分类算法的准确性。在公开数据上的实验结果及实验分析证明了算法的有效性。 相似文献
4.
文本分类中一种基于密度的KNN改进方法 总被引：2，自引：1，他引：1
特征降维与分类算法的性能是文本自动分类的两个主要问题.KNN算法以其简单、有效、非参数特点常用于文本分类,但是训练文本分布的不均匀对KNN的分类效果产生负面影响,而在实际应用中训练文本分布不均是常见现象.本文针对这种分类环境,首先提出了一种改进的tf-idf赋权方法用于特征降维,在此基础上进一步提出了一种基于密度的改进KNN方法用于文本分类, 使处于样本点分布较密集区域的样本点之间的距离增大.随后的文本分类试验表明,本文提出的方法基于密度的KNN方法具有较好的文本分类效果. 相似文献
5.
若要有效地实现文本分类,关键是对高维特征空间进行降维,降维方法分为特征选择和特征提取.本文对已有特征选择方法分析后发现,这些方法仅利用文档数来选择特征,没有考虑特征项的权重.为了找出本质特征,我们提出了一种基于特征项与类之间模糊关系的特征选择方法,引入特征项权重来确定其隶属度.采用KNN分类器,在Reuters-21578标准文本数据集上进行了训练和测试.实验表明,宏平均和微平均都达到了最高,分别为81.82%和94.88%,宏平均比IG,CHI提高了4.73%和1.12%,微平均比IG,CHI提高了1.56%和0.21%. 相似文献
6.
7.
8.
谭金波 《现代图书情报技术》2007,2(3):39-42
探讨一种新的文档分类方法——基于本体的规则分类法。该方法首先根据分类体系建立每个类的本体，然后根据本体和规则对网页的主要标记信息进行分类。实验表明，这种方法比Rocchio分类法查全率略低，但查准率较高。 相似文献
9.
多层次web文本分类 总被引：8，自引：0，他引：8
传统的文本分类大多基于向量空间,分类体系为甲面体系,忽视了类别间的层次关系。根据LSA理论提出了一种多层次web文本分类方法。建立类模型时,根据类别的层次关系树由下到上逐层为具有相同父节点的类别建立一个类模型;分类时,由上到下,根据相应的类模型存LS空间上分类。这种分类方法解决了LSA模型中高维矩阵难以进行奇异值分解的问题。同时体现了web文本中词条的语义关系,注重了词条在网页中的表现形式。实验表明,多层次web文本分类方法比基于平面分类体系的分类方法在查全率和准确率方面要好。 相似文献
10.
根据互信息、RBF神经网络和关联规则原理,提出了一种抽取WEB文本分类规则的新方法。先根据互信息选择和各类相关程度大的若干词条,然后采用RBF神经网络方法对选择的特征进行进一步提取,得到维数较小的文本特征向量空间。之后再根据挖掘出的关联规则获取WEB文本分类规则,建立文本分类器,在保证了分类精度的前提下抽取出利于理解的文本分类规则。 相似文献
11.
Significant progress has been made in information retrieval covering text semantic indexing and multilingual analysis. However,
developments in Arabic information retrieval did not follow the extraordinary growth of Arabic usage in the Web during the
ten last years. In the tasks relating to semantic analysis, it is preferable to directly deal with texts in their original
language. Studies on topic models, which provide a good way to automatically deal with semantic embedded in texts, are not
complete enough to assess the effectiveness of the approach on Arabic texts. This paper investigates several text stemming
methods for Arabic topic modeling. A new lemma-based stemmer is described and applied to newspaper articles. The Latent Dirichlet
Allocation model is used to extract latent topics from three Arabic real-world corpora. For supervised classification in the
topics space, experiments show an improvement when comparing to classification in the full words space or with root-based
stemming approach. In addition, topic modeling with lemma-based stemming allows us to discover interesting subjects in the
press articles published during the 2007–2009 period. 相似文献
12.
13.
14.
Neural Network Agents for Learning Semantic Text Classification 总被引：1，自引：0，他引：1
Stefan Wermter 《Information Retrieval》2000,3(2):87-103
The research project AgNeT develops Agents for Neural Text routing in the internet. Unrestricted potentially faulty text messages arrive at a certain delivery point (e.g. email address or world wide web address). These text messages are scanned and then distributed to one of several expert agents according to a certain task criterium. Possible specific scenarios within this framework include the learning of the routing of publication titles or news titles. In this paper we describe extensive experiments for semantic text routing based on classified library titles and newswire titles. This task is challenging since incoming messages may contain constructions which have not been anticipated. Therefore, the contributions of this research are in learning and generalizing neural architectures for the robust interpretation of potentially noisy unrestricted messages. Neural networks were developed and examined for this topic since they support robustness and learning in noisy unrestricted real-world texts. We describe and compare different sets of experiments. The first set of experiments tests a recurrent neural network for the task of library title classification. Then we describe a larger more difficult newswire classification task from information retrieval. The comparison of the examined models demonstrates that techniques from information retrieval integrated into recurrent plausibility networks performed well even under noise and for different corpora. 相似文献
15.
16.
[目的/意义]由于微信公众平台提升了图书馆信息传播的智能化水平，增强了图书馆服务效能，已被我国图书馆作为重要的自媒体平台广泛应用。在此背景下，针对高校图书馆与公共图书馆微信公众平台进行比较研究具有重要意义。[方法/过程]首先，利用社交媒体大数据平台和网页爬虫技术对微信公众平台推文外部描述和推文内部描述数据进行采集，数据清洗后存储在mongo DB数据库中。其次，利用微信传播指数算法计算高校图书馆与公共图书馆微信公众平台传播指数。同时，引入机器学习中的文档主题生成模型（LDA）开展这两类图书馆微信公众平台推文文本的主题分类研究。最后，提出信息收受综合指数（IA&AI）的概念与量化方法，并在设置IA&AI阈值的条件下进行基于代表性推文特征指标统计的比较研究。[结果/结论]高校图书馆与公共图书馆微信公众平台阅读数与点赞数均存在密切正相关关系；高校图书馆公众平台传播影响力较公共图书馆稍低，但这两类图书馆都存在影响力两极分化现象；比较分析后找到高校图书馆与公共图书馆推文主题异同以及较高或较低信息收受综合指数推文的信息特征差异。最后根据研究结论提出针对这两类图书馆微信公众平台运营的建议。 相似文献
17.
18.
基于文本挖掘机制的区域经济关系分析 总被引：1，自引：0，他引：1
已有的经济关系研究大都采用实证的或单纯的计量学的方法来实现的.本文则针对非结构化的文本特点,采用信息抽取和文本挖掘方法挖掘用户感兴趣的区域经济关系是具有十分重大应用价值的研究课题.本文在探讨了基于实体关系的文本挖掘机制的基础上,对31个省、市、自治区的区域经济关系进行了分析.运用文本挖掘技术对经济关系的挖掘包括两种方式:一是基于属性的经济关系挖掘,利用信息抽取获取各个实体属性,采用聚类方法分析经济实体关系;二是基于相互引用的经济关系挖掘,首先构造经济实体关系分类词典,提出了实体关系标注算法,利用信息抽取获得实体之间的引用情况,然后构造关系有向图,从中挖掘区域经济之间的关系.研究表明,运用文本挖掘技术,既可以对各个区域经济发展状况进行分析和评价,也可以发现特定区域经济之间的内在关系. 相似文献