首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 15 毫秒
1.
开发海量数据处理系统时存在技术框架选择不确定问题。从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势。分析结果表明,Hadoop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP 则占优,适用于查询业务场景较多项目。通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考。  相似文献   

2.
《中国教育网络》2014,(Z1):59-60
正如何让云存储服务于应用系统,上海交通大学网络信息中心选择了建设OAuth保护下的开放API体系,使非结构化数据的存储成为一项通用的基础服务。应用系统对非结构化数据存储的需求非结构化数据,通俗的讲就是诸如文本、图像、音频、视频、各种格式的办公文档等等数据,这类数据广泛存在于各类应用系统中,而对于它们的存放,传统上有数据库和文件系统两种方式。我们知道,作为结构化数据存放、检索的手段,数据库扮演着重要的角色,是大多数应用系统的基石,但我们并不推荐在数据库中  相似文献   

3.
发挥云计算平台开发应用系统高效率、低成本的优势,基于云计算平台部署应用系统是实施SaaS(Software-as-a-Service软件即服务)架构企业应用系统的最佳模式。为探索基于百度个人云存储PCS(Personal Cloud Storage)平台的企业SaaS应用系统开发问题,文章分析了基于百度PCS实施应用系统SaaS架构的功能优势,在此基础上,结合Android开发环境探讨基于PCS的SaaS架构的集成开发方法,利用PCS所提供的SDK(Software Development Kit),给出了实现结构化数据处理的云存储解决方案。  相似文献   

4.
随着高校办公、教学信息化建设的日益深入,国内高校几乎无一例外的从单一的管理系统开始建设,到现今已经拥有大量应用系统网站群。由于应用系统入口多、使用繁琐,信息无法高度共享。为此,中心充分调研国内外非结构化数据管理的应用效果,采用欧美先进的非结构化数据平台TRIP,设计并开发了跨校区、跨系统平台的分布式资源共享平台,实现了将图形、图像等200多种格式的电子文件、邮箱群、网站群一体化管理、检索和共享。平台已经成功申报国家版权局的软件著作权登记。  相似文献   

5.
某高校先后建成了人事系统、教务系统、学工系统、科研系统及业绩系统等业务系统,为了解决各业务系统之间存在的信息共享能力差、业务适应能力差等问题,采用面向服务的架构思想构建高校数据管理平台,提出一种基于ESB-SOA的高校数据管理平台设计方法。实践证明,该方法能够实现各类异构业务系统的数据资源共享,保证数据跨系统、跨部门的一致性、完整性和准确性,为高校后续信息化建设搭建良好的基础支撑平台。  相似文献   

6.
高校图书馆各个应用系统中存储着大量结构化与非结构化数据,对如何解决文献资源存储的压力与日俱增。云计算和云存储的出现,无疑为图书馆文献资源的存储提供了一种崭新的、较为理想的方法。笔者认为可采用私有云存储的方式进行数据的存储,满足图书馆数据存储平台系统的中长期发展的数据存储需求。  相似文献   

7.
基于云计算处理的物流网总体逻辑架构可以从数据存储、物联网、存储应用3个方面描述.将云计算的优势与物流的特点结合起来,形成智能物流综合管理平台系统.开发和建设现代化的公共物流信息平台,是物流信息化的首要任务,而基于云计算的云物流将是一个很好的解决方法和途径.实现定制化的云应用和公共信息集中管理模式,形成统一的物流链数据服务中心.各企业根据权限对其进行操作,可提升企业之间的业务协作,完成与多个合作伙伴的信息交流,进而实现统一平台下的业务协作提升整个物流链的物流服务水平和综合竞争力.  相似文献   

8.
基于OpenStack,Swift开源云计算平台,构建了一个DHT架构的私有存储架构和一套SOA存储管理系统,使得存储基础设施具备快速横向扩展能力,并提供可选冗余性的存储,实现数据信息的高可用性。针对私有云存储小文件的特点,提出3个可行的优化方法,以提高文件存储效率。利用MongoDB和HTML,5实现快速云端便签功能,满足信息快速记录和查看功能,提高工作效率和数据管理的安全性。  相似文献   

9.
下一代互联网的大数据挖掘平台是一套以监测分析为手段,同时面向业务与应用和数据挖掘的综合平台.平台按三层架构进行建设,分别是采集层、存储和处理层、应用层,使用云计算和云存储,最大程度排除设备故障,优化网络,提升用户体验,挖掘各种业务海量数据带来的最大价值,帮助运营商等解决网络面临的最大问题.  相似文献   

10.
信息的有效组织与安全发布是数字校园的重要功能。基于用户角色的权限管理方式可对用户所能使用的操作和数据资源进行权限控制,实现重要应用系统的授权访问。基于多媒体存储的Domino群件平台和基于关系模型的数据库管理系统分别适用于工作流模式的办公自动化系统和结构化数据存储、快速查询,共同构成了数字校园的基础平台。清华大学URP的实现可对用户提供统一的资源访问和应用接口,实现各个应用系统间数据的有效共享。  相似文献   

11.
分析大量的非结构化文本数据已经成为各类研究及数据分析中的重要任务。本文借助Hadoop分布式计算平台,搭建了一个基于IKAnalyzer开源工具的文本分析应用系统框架,系统基于Spring Boot架构进行了Web应用平台搭建,结合node.js技术构建了数据驱动的Web前端UI呈现。研究实践了从文档收集、文档预处理、分布式计算、中文分词及词频分析、可视化呈现的初步流程。借助该系统平台,研究分别以金庸小说文本数据及采集的贵州省极贫乡镇教育基础数据作为语料数据进行了相关文本统计分析实践。  相似文献   

12.
近年来,MBD数字化装配技术在航空主机厂所应用越来越广泛。基于航空工业统一平台、统一架构思想,多种数字化应用平台不断引进,因而平台间的接口开发的问题亟待解决。ENOVIA VPM是航空设计院所管理设计数据的平台,DELMIA是航空制造企业用于顶层工艺规划及仿真分析的平台,通过两者接口的开发,实现了具有架次有效性属性的整机三维设计数据的结构化传递,使得设计数据在两个平台中实时同步。  相似文献   

13.
随着信息技术和云计算平台的发展,企业经营活动产生的海量数据改变了会计系统的原有模式,财务会计的核算职能开始弱化,模块式的会计业务处理方式趋向移动化、电子化的智能式会计.结构化数据已不能满足会计信息使用者的需求,半结构化、非结构化数据通过会计信息资源管理系统、知识管理系统被更多的应用于数据分析中.原人为职业判断环节也将逐渐被学习记忆、自动建模功能取代,与此同时,数据相关度也成为影响会计信息质量的重要因素,信息安全将面临更为严峻的挑战.  相似文献   

14.
苗志锋 《广西教育》2014,(39):187-189
学生电子履历建设对于学习实习、职业规划、求职晋升等方面有着重要意义。通过分析现状,从web网站分布式技术架构中引入No SQL数据库,与关系型数据库相结合,为结构化信息、非结构化数据的存取提供一个统一数据模型接口,便于应用。  相似文献   

15.
应用系统对非结构化 数据存储的需求 非结构化数据,通俗的讲就是诸如文本、图像、音频、视频、各种格式的办公文档等等数据,这类数据广泛存在于各类应用系统中,而对于它们的存放,传统上有数据库和文件系统两种方式.我们知道,作为结构化数据存放、检索的手段,数据库扮演着重要的角色,是大多数应用系统的基石,但我们并不推荐在数据库中存放非结构化的数据,一方面数据库存取此类数据的效率低下;另一方面,大量的非结构化数据存在于数据库给数据库的性能和维护都带来负面影响.相对于数据库,我们更推荐在文件系统中存放非结构化数据,但是这也对开发人员提出了很高的要求:在性能方面,为了应对可能的大文件数量,文件存放的目录结构需要设计,为了支持负载均衡,文件数据的同步需要考虑;在安全方面,对于Web系统,允许上传文件到文件系统有着巨大的风险,由于运维人员无法实施严格的安全策略保证文件系统不被改写,一旦系统存在漏洞,上传非法代码执行的例子屡见不鲜.  相似文献   

16.
学生电子履历建设对于学习实习、职业规划、求职晋升等方面有着重要意义。通过分析现状,从web网站分布式技术架构中引入NoSQL数据库,与关系型数据库相结合,为结构化信息、非结构化数据的存取提供一个统一数据模型接口,便于应用。  相似文献   

17.
我国数字化档案系统存储主要是本地存储和局域网存储,存在档案信息孤立、建设和管理成本高、后期维护困难等问题。阐述了数字化档案云存储平台的物理架构、云存储平台的体系结构和规划设计、开放接口和服务接入设计、云存储安全策略等。设计了一套弹性云存储、异构数据存储、开放文件中心、档案一体化与全生命周期管理和电子文件加密与开放的数字化档案系统。建设安全的数字化档案云存储平台,能够普及数字化档案,降低企业档案管理成本,提高企业现代化管理水平。  相似文献   

18.
关系型数据库由于面向行存储以及无法扩展等原因,已很难满足大规模车联网传感数据的存储与查询要求。针对该问题,设计了一个基于非关系型数据库HBase存储的车联网传感数据管理系统。该系统采用Hadoop与HBase搭建分布式实验平台,采用C#语言开发Web网页端。通过与传统关系型数据库SQL Server的存储与查询效率进行对比分析,表明HBase在处理大规模车联网传感数据方面具有明显优势。  相似文献   

19.
数字图书馆是用数字技术处理和存储各种文献信息资源的图书馆,它是一种以多媒体为主体的分布式信息系统,涉及信息加工、存储、检索和利用的全过程。云计算技术给数字图书馆的功能和应用服务带来了很大变革。结合云计算技术,基于三层架构(数据层、业务层和应用层)进行了数字图书馆平台设计与开发。在其设计与开发中,需要考虑对数字图书馆各种功能与应用的整合,建立及时有效的信息服务反馈机制,并构建数字信息公共服务平台。  相似文献   

20.
针对物联网传感数据具有的多样性、时空性及大数据特性等特征,在校园物联网实验平台环境下,提出一种基于HBase和My SQL的物联网大数据存储模型。根据平台实际应用的特点,该模型首先通过传统关系数据库接收并存储物联网传感数据,然后通过Sqoop数据转存,实现物联网数据在HBase和HDFS存储架构下的分布式存储,最后在物联网实验平台中应用该模型,并取得了较好的效果。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号