共查询到20条相似文献，搜索用时 178 毫秒
1.
[目的/意义]通过实验分析不同特征提取算法对新闻文本聚类效果的影响。[方法/过程]选取搜狗实验室的搜狐新闻语料库以及澳大利亚广播公司2003-2017年间的新闻标题语料库,对TF-IDF、Word2vec以及Doc2vec三种单一特征,TF-IDF+Word2vec、TF-IDF+Doc2vec、Word2vec+Doc2vec以及TF-IDF+Word2vec+Doc2vec四种组合特征在K-means、凝聚以及DBSCAN算法上分别进行聚类分析,通过Purity以及NMI两个评测指标对聚类效果进行评价。[结果/结论]单类特征中三个特征的聚类质量呈Word2vec> TF-IDF> Doc2vec关系;组合特征中TF-IDF+Word2vec的效果最优。Word2vec在单一特征中的表现最优,其也是不同组合特征间差异的主要因素,特征组合是否可以提升聚类性能需基于多因素进行综合判定。 相似文献
2.
线性判别分析（LDA）具有很好的分类性能,但是计算复杂度一般较高。为了有效地降低LDA算法的计算复杂度,本文提出了一种基于k-means聚类的快速学习算法。该算法首先根据k-means聚类算法对原始样本进行聚类,计算聚类簇的样本中心作为新训练样本,然后再利用LDA算法进行分类。由于通过聚类算法有效地压缩了训练样本集的规模,因此算法具有更高的效率。在语音识别数据集上的实验充分验证了本文算法具有较好的分类性能,而且效率更高。 相似文献
3.
数据类间分布不均衡是不平衡数据集分类效果不好的主要原因,为了克服类间分布的不均衡,本文提出了一种基于邻近样本类别判断的不平衡数据分类算法。首先,对待判定样本,计算它的k个最邻近样本,然后将待判定样本的类别指派到它的k个最邻近中的多数类。由于本文所提出的不平衡数据分类算法在类别决策时,只考虑少量的邻近样本的类别,而不是考虑所有的训练样本,因此可以较好地克服类间不平衡对少数类分类结果的影响。在客户流失数据集上的仿真实验充分证明了本文算法能较好地处理不平衡数据分类问题。 相似文献
4.
针对FCM算法主要应用于点数据聚类,不能直接处理关系型数据的缺点。本文提出了一种基于Web日志的数据挖掘聚类算法,首先对FCM算法进行改进使其能够处理关系型数据,并对算法进行了健壮性改进。然后针对传统FCM算法需要在没有先验知识的基础上,事先确定聚类类别数的缺点,引入了竞争凝聚算法(CA),与FCM算法相结合,形成了CA-FCM算法,使之能够自动确定最佳分类类别数。实验表明,CA-FCM算法的挖掘结果与FCM算法的结果相近,在用户访问会话数量不太大时性能优于FCM算法。 相似文献
5.
模糊支持向量机（FSVM）具有很好的抗噪声能力,受到了很多专家的重视。然而模糊支持向量机算法的时间复杂度通常较高。针对这一不足,本文提出了一种基于核聚类的模糊支持向量机算法。首先根据核聚类算法对每一类原始样本进行聚类,然后对每一簇求样本中心,用样本中心作为新的样本点替换该类别的原始样本。最后本文算法利用中心距离型计算新样本的模糊权重,并利用模糊支持向量机算法进行求解。实验充分验证了本文算法相对于传统模糊支持向量机方法具有更快的分类速度。 相似文献
6.
7.
8.
"新浪爱问"和"百度知道"这类问答服务系统的主要任务之一是对问题进行分类,以便于组织用户产生的问题数据,并进行进一步的分析处理。问答服务系统的实际应用需求对问题分类算法在分类效果、计算复杂度以及对噪声数据敏感度等方面提出了较高的要求。基于信息检索思想,本文提出一种基于类文档排名的分类算法,并从语言模型的角度对该算法进行分析和改进。通过在一个大尺度的问题数据集合进行的一系列实验,表明本文提出的算法在问题分类任务中可以取得优于传统算法的分类效果;同时,该算法计算量较小,适用于处理大规模数据,可以很好的满足问答服务系统中对于问题分类算法的要求。 相似文献
9.
10.
11.
The number of patent documents is currently rising rapidly worldwide, creating the need for an automatic categorization system to replace time-consuming and labor-intensive manual categorization. Because accurate patent classification is crucial to search for relevant existing patents in a certain field, patent categorization is a very important and useful field. As patent documents are structural documents with their own characteristics distinguished from general documents, these unique traits should be considered in the patent categorization process. In this paper, we categorize Japanese patent documents automatically, focusing on their characteristics: patents are structured by claims, purposes, effects, embodiments of the invention, and so on. We propose a patent document categorization method that uses the k-NN (k-Nearest Neighbour) approach. In order to retrieve similar documents from a training document set, some specific components to denote the so-called semantic elements, such as claim, purpose, and application field, are compared instead of the whole texts. Because those specific components are identified by various user-defined tags, first all of the components are clustered into several semantic elements. Such semantically clustered structural components are the basic features of patent categorization. We can achieve a 74% improvement of categorization performance over a baseline system that does not use the structural information of the patent. 相似文献
12.
自动文本分类方法是文本分类中非常重要的一种分类方法，本文着重从模型与方法的角度进行探讨。首先给出了一个自动文本分类的形式化定义，然后提出了自动文本分类的流程模型。接着，对流程中的四个部分进行具体讨论。自动文本分类的应用非常广泛，为了叙述方便，以商务数据为例进行讨论，并且选择实例作为典型案例对自动文本分类后的可视化进行分析和具体研究。 相似文献
13.
词汇之间的搭配关系应该是具有一定的规则性,还是开放而不完全拘泥于规则呢？除了基本的语法规则和语义的限制外,其他因素是否会影响词汇之间的搭配呢？本文针对以上的课题,运用认知语言学的相关理论,探析了英语词汇搭配的认知规律,并阐释了经验主义、概念范畴化和概念结构对词汇搭配的制约作用。 相似文献
14.
基于改进的SVM文本分类建模 总被引：1，自引：0，他引：1
SVM是一种新的分类工具,可是其核函数在数学上必须满足Mercer条件,使得具有良好全局分类性能的Sigmoid函数在SVM中应用受到限制。本文将Sigmoid核函数与云模型相结合,提出一种简单的核函数的实现方法。此方法不仅提高了SVM文本分类能力,而且明显地减少了平均的CPU执行时间。 相似文献
15.
本文结合运用信息管理和人工智能的原理与技术，探讨了文本知识的自动分类方法，包括：自动归类与聚类方法、基于实例的学习分类方法和基于特征值的元学习方法。 相似文献
16.
语料库语言学研究这一新兴领域因其独特的研究视角及应用前景越来越受到国内外学者的关注,而将其应用于语言教学也成为研究的重点。我国学者在语料库语言学与英语教学的结合方面已经取得了一定的成绩,但在基础教学及微观应用方面涉猎较少,尚待深入研究。本文以英语阅读教学为切入点,论述语料库语言视角下英语阅读教学的必要性和可行性,并从语篇导入、文体分析、语境猜词三个方面探讨基于语料库的英语阅读教学。 相似文献
17.
现代语料库作为一种大容量、快捷有效的语言研究工具,在语言教学领域的研究中发挥着日益重要的作用.本研究主要结合英语专业本科生阅读教学的实际,运用语料库辅助学生的课外阅读活动,以期改进阅读课的教学效果,提高学生的自主阅读能力. 相似文献
18.
语料库作为一种大规模电子文本库,其构建对模糊限制语的使用具有重大作用。该文首先对语料库以及模糊限制语进行介绍,通过对影响因子较高的141种高校学报进行遴选,选择2020年在11种学报上发表的126篇学术论文,对其翻译的英文摘要中的模糊限制语使用情况进行分析,并根据这些文献摘要中模糊限制语的使用情况,提出基于语料库的高校学报英文摘要中模糊限制语的优化使用策略,为模糊语言的研究提供参考。 相似文献
19.
20.
Cross-lingual text categorization: Conquering language boundaries in globalized environments 总被引：1，自引：0，他引：1
Text categorization pertains to the automatic learning of a text categorization model from a training set of preclassified documents on the basis of their contents and the subsequent assignment of unclassified documents to appropriate categories. Most existing text categorization techniques deal with monolingual documents (i.e., written in the same language) during the learning of the text categorization model and category assignment (or prediction) for unclassified documents. However, with the globalization of business environments and advances in Internet technology, an organization or individual may generate and organize into categories documents in one language and subsequently archive documents in different languages into existing categories, which necessitate cross-lingual text categorization (CLTC). Specifically, cross-lingual text categorization deals with learning a text categorization model from a set of training documents written in one language (e.g., L1) and then classifying new documents in a different language (e.g., L2). Motivated by the significance of this demand, this study aims to design a CLTC technique with two different category assignment methods, namely, individual- and cluster-based. Using monolingual text categorization as a performance reference, our empirical evaluation results demonstrate the cross-lingual capability of the proposed CLTC technique. Moreover, the classification accuracy achieved by the cluster-based category assignment method is statistically significantly higher than that attained by the individual-based method. 相似文献