首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 187 毫秒
1.
网络舆情具有自由发布、传播和隐蔽等特点,这使得传统的信息检索技术很难直接应用到网络舆情监测系统中。通过深入研究网络舆情的相关技术,提出了网络舆情监测系统框架。围绕着论坛爬虫这一核心技术,分析了论坛网站的结构特点,并构建了论坛网站的层次模型,实现了对不同论坛网站的抓取。这种基于层次模型的爬虫技术兼顾了舆情信息采集的广泛性与特殊性,实验结果表明,该方法能够提高论坛爬虫的效率。  相似文献   

2.
主题网络爬虫采用集中式体系结构,具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构,通过将主题网络爬虫部署在分布式集群中的不同机器,运用MapReduce编程模型对数据进行抓取分析,使不同机器共同完成对指定任务的抓取工作。实验证明,采用分布式架构,通过动态调节分布式集群中的节点个数,能够明显改善主题网络爬虫的抓取效果。  相似文献   

3.
CORBA是开放式、多平台、面向对象的分布式计算技术的工业规范.利用CORBA可以进行跨平台、跨语言的分布式软件开发.本文结合CORBA技术、数值计算方法、OpenGL图形仿真技术,以C Builder为开发工具开发了基于CORBA的分布式多连杆仿真系统,实现了分布式环境下的多连杆系统的分析、仿真及灵敏度分析,用户可以在客户端提供相应参数,由服务器完成动力学模型的自动建模、数值分析以及灵敏度分析,客户端可以利用服务器端的分析数据进行图形仿真.该系统的实现为CORBA在工程技术领域的应用进行了有益的实践.  相似文献   

4.
作为一种快捷、高效访问网络海量数据的工具,通用搜索引擎自诞生以来备受人们喜爱.然而在设计上它却存在着很多不足,并且随着万维网的快速发展而日益不能满足人们的需求.基于这种背景,用于对网页进行定向抓取的主题爬虫应运而生.主题爬虫的设计理念是利用最少的资源,尽可能快而准确地抓取网络中用户关心的网页,目前已经有着非常广泛的应用.首先,了解主题爬虫提出的历史背景及当前国内外的发展状况,分析与主题爬虫设计相关的技术知识,如HTTP协议、HTML解析、中文分词等.其次,提出使用向量空间模型进行主题相关度计算.为了能够充分利用网页中丰富的启发式信息,综合运用了网页内容分析和网页链接分析技术.最后,基于对主题爬虫设计与实现方法的研究,使用Java开发一个多线程主题爬虫.  相似文献   

5.
通过介绍主题网络爬虫,以及使用Java开发的开源网络爬虫Heritrix的系统构架,设计基于遗传算法的主题网络爬虫算法,并使用Heritrix构造基于遗传算法的主题网络爬虫。实验结果表明,采用Heritrix实现的基于遗传算法的主题网络爬虫,能取得不错的效果。  相似文献   

6.
本文深入讨论了通过分布式计算进行的网络攻击,重点讨论了通过分布式网络进行的暴力破解攻击,同时分析了其他的一些分布式网络的攻击方法,并最终以DES和MD5为例设计并实现了分布式网络攻击系统,通过该系统模拟出暴力破解的DES和MD5的过程.  相似文献   

7.
针对互联网网内信息搜索效率低下问题,设计了以Redis数据库以及Map-reduce思想为核心的分布式搜索引擎框架。为了应对互联网信息时效性强、更新快、难以被准确检索的特点,基于该框架设计了分布式爬虫、分布式索引建立、分布式链接分析算法。该框架明显提高了信息处理的效率,为分布式搜索引擎的搭建提供有效模板。经过测试,与以基于其它主流框架搭建分布式搜索引擎相比,基于Redis的分布式搜索引擎在爬虫爬取、索引生成、链接分析性能方面均有提升。  相似文献   

8.
由于通用搜索引擎返回的信息过多且主题相关性不强,使部分企业未能及时获取高校招标公告,错失中标机会。针对这种情况,提出了高校招投标公告主题爬虫的设计方法。爬虫首先通过主题确立、网页聚类,将高校招投标公告聚集页面存储起来,然后爬虫每日从高校招投标聚集页面采集最新公告。实验结果表明,该爬虫能及时更新高校招投标公告且准确率较高,较好地为高校招投标信息网站建设提供数据来源。  相似文献   

9.
网络的发展带来了大量的分布式应用,而Web Services技术成为了当前流行的分布式计算的新产品,本文就以Web Services技术为基础,分析如何构造基于Web服务的分布式在线考勤系统,并加以实现。  相似文献   

10.
针对页面中的大量动态链接,提出了模拟浏览器的解析方式进行页面链接的提取,并设计实现了基于JaveScript等多链接分析的主题爬虫系统.  相似文献   

11.
互联网的迅速发展,使得越来越多的大学生广泛地应用网络。网络舆情是以网络为载体或者平台的社会舆情。依托信息网络技术发展而来的网络舆情,其体现形式主要有论坛、博客、电子邮件、聚合新闻等,并且具有随意性、开放性、交互性等特点。分析把握网络舆情的形成和发展规律,着重从网络舆情监管、预警、汇集、分析、处置等方面探索并建构其工作机制,对于促进高校文化信息领域等方面的工作,显得十分必要。  相似文献   

12.
以网络舆情突发事件的源信息为样本,采用内容分析法对网络舆情突发事件的时间、主体、内容、地点等进行多维度考量。发现网络舆情突发事件源信息的一些特征并提出引导和控制网络舆情的建议。  相似文献   

13.
网络负面口碑影响旅游目的地的形象和游客的消费选择。及时关注本地区网络负面舆情,对于加强旅游监督管理,塑造良好的旅游城市形象具有重要的作用。构建网络负面口碑搜索关键词体系,运用网络搜索爬虫技术爬取负面舆情信息,根据负面信息数量计算旅游城市网络负面口碑指数,为旅游服务质量评价提供新的方法。研究表明,样本城市网络负面信息数量与游客出行量高度正相关,网络负面口碑指数与游客满意度之间呈较强的负相关关系。  相似文献   

14.
论网络舆情的搜集、分析和引导   总被引:9,自引:0,他引:9  
从掌握网上舆论主动权的角度,探讨了网络舆情的搜集、分析以及引导网络舆情的方法。搜集网上舆情要正确把握网络舆情的生成规律,清楚了解网络舆情的存在空间,分析网上舆情要通晓社会思潮和复杂形势,引导网上舆情要做好信息发布等基础性工作。  相似文献   

15.
随着人们对信息资源的个性化需求不断加大,主题网络爬虫应时而生。阐述主题网络爬虫定义及工作原理;介绍了主题网络爬虫研究进展,对主题网络爬虫爬行策略、网页抓取优先级以及系统设计实现进行阐述;总结当前研究的不足,对未来研究方向进行了展望。  相似文献   

16.
高校作为我国舆论宣传、文化融合交流、社会主义核心价值观建设的主要阵地,会时刻受到来自互联网舆论的影响。文章对高校网络舆论热点的背景、特点、方式和现状进行研究,指出高校建立一套网络舆论的信息收集、信息分类、信息处理、信息存档和信息反馈机制,对高校的网络舆论引导、控制和宣传具有一定指导意义。  相似文献   

17.
目前的爬虫框架及分布式系统集群成熟,但是代价高,硬件设备昂贵,技术较复杂。结合区块链技术设计一种爬虫方案,部署简单且省去服务器资金投入。该方案融合IPFS技术,使用智能合约募集公网上闲散的硬件资源代替传统服务器,节约成本,使用简单,可为IPFS融合区块链技术的应用提供参考。  相似文献   

18.
为改善网络舆情态势感知与预警中舆情信息分析不准确的问题,提出基于 Spark 技术的均值漂移(MS)算法,利用该算法原理分析 Spark 框架特性,给出该算法在 Spark 框架中的实现过程,包括舆情信息预处理、特征提取、特征向量模型构建和算法聚类设计。在相同数据集下将 MS 算法和 K-means 算法聚类效果进行对比,实验结果显示,K-means 算法聚类结果受 k 值选取的影响,存在聚类结果不准确的问题;基于 Spark 的 MeanShift 算法在没有任何先验条件下舆情聚类效果优于 K-means 聚类算法,且符合预期期望。  相似文献   

19.
信息网络传播技术高速发展,网络已经成为舆论生成的发源地、信息传播的集散地、各种观点交锋的主阵地。各级政府在应对网络舆论时的一些观念和方法出现一些偏差时,直接导致了网络舆情危机发生。文章从网络舆情危机产生的原因,以及如何应对网络舆情危机这两个方面进行分析,以期能改善政府的舆论引导方式,重拾话语主导权并增进公信力。  相似文献   

20.
精英话语对教育考试制度改革的影响   总被引:1,自引:0,他引:1  
在我国,精英话语权体现在精英对公众态度的吸纳、民意的表达和制度制定等方面。在教育考试制度改革中,公众态度通过人大提案、教育专家建议、知识分子呼吁等形式表达。知识精英对教育考试制度改革话语一定程度上存在着知识精英群体的主观认知局限和精英主义的价值取向。因此,政府在进行教育考试制度改革过程中要综合各种建议和意见,摒弃主观价值取向,加强民意调查,进行成本收益分析和现实适应性研究。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号