共查询到19条相似文献，搜索用时 385 毫秒
1.
2.
3.
远程教育资源具有数据量大,增长迅速的特点,对这些海量数据资源进行低成本存储和基于内容的高效检索,是远程教育云平台建设面临的一大难题。本文基于Hadoop设计了一套对远程教育海量资源进行存储和检索的方法,解决了这个难题。 相似文献
4.
5.
6.
7.
《洛阳师范学院学报》2017,(5):56-59
文章分析了高职院校教育资源的现状和面临的问题,介绍了云存储的结构模型和优势,提出了一种基于云存储的数据存储方案.该方案采用Hadoop云平台,将HDFS与现有高职院校教育云平台相结合,有效解决了教育资源云平台上海量数据的存储问题. 相似文献
8.
开发海量数据处理系统时存在技术框架选择不确定问题。从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势。分析结果表明,Hadoop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP 则占优,适用于查询业务场景较多项目。通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考。 相似文献
9.
通过对Web大数据库的访问,提高数据库的查询和信息调度能力。传统方法采用基于信息流减法聚类和模糊C均值调度的数据库访问算法,对数据库访问过程中的稀疏度均衡能力不好。提出一种基于稀疏度均衡调度的数据库优化访问算法,分析了数据库中海量数据存储结构模型,进行数据融合和冗余信息滤除处理。采用稀疏度均衡调度方法进行特征提取和数据库访问过程中的均衡调度,提高数据查准率。仿真结果表明,利用该算法进行数据库访问的均衡性能较好,数据的查准率和查全率较高。 相似文献
10.
针对未来物联网农业产生的海量数据采集、管理和挖掘问题,本文提出了基于Hadoop集群分布式存储与传统MySQL数据库相结合的农业大数据云端系统。通过无线传感器网络构建农作物生长环境参数,如温度、湿度、光照度、土壤湿度及图像视频等数据采集和传输平台,数据最后汇聚到云端通过H adoop分布式计算框架和MapReduce编程模型对农业海量数据进行存储、检索、管理和决策,为农作物生长过程实时监测和最优化生产提供指导,实现方便、快捷、高效和低成本的农业管理系统。 相似文献
11.
云计算通过互联网提供随需应变的资源或服务,通常依据数据中心的规模和可靠性水平而定。MapReduce是一个为并行处理大量数据设计的编程模型,在云环境中实现HadoopMapReduce框架,使用虚拟的负载平衡来改进单节点和多节点系统的性能。 相似文献
12.
针对文件共享系统中的文件热备份问题,提出一种在 P2P 网络中利用节点间环型结构实现共享文件备份的方法。围绕环型结构文件热备份设计,在实验系统中同时解决了网络节点加入与退出、节点状态监控、节点连接信息刷新、各节点中共享文件协同检索,以及各节点间实时通信等技术问题。充分利用 P2P 网络结构的技术特点,提高文件共享系统的可用性,同时证明 P2P 网络结构下的文件资源共享系统具有扩展方便、负载变化对系统影响较小等特点。 相似文献
13.
构建了在线迁移算法模型和虚拟机负载评估向量,并依据各物理节点的带宽占用率、内存占用率和CPU占用率,确定迁移时机和需要迁移的源物理节点,依据CPU在各节点的占有率、ROM的使用效率、带宽的利用率来确定目标物理节点。通过仿真模拟环境试验证明,文中算法在虚拟机在线迁移中能够大幅度地提高物理节点的负载均衡,同时SLA违反率最小和云计算数据中心能耗最小。 相似文献
14.
针对安防领域中的信息孤岛问题,本文提出一种基于大数据的分布式云计算模型,该模型由域结点、子域结点和终端结点组成,终端结点负责数据的采集,域结点和子域结点负责数据的计算和存储,并给出一种基于云计算的大数据安防监控系统架构．该模型集成了大数据和云计算的各自优势,解决了安防领域中的信息孤岛问题,具有通信带宽低、扩展弹性高和易于实施的特点． 相似文献
15.
Peer-to-peer (P2P) systems are now very popular. Current P2P systems are broadly of two kinds, structured and unstructured. The tree structured P2P systems used technologies such as distributed hash tables (DHT) and hierarchical clustering can search the required target quickly, however, in a tree, the internal node has a higher load and its leave or crash often causes a large population of its offspring's problems, so that in the highly dynamic Internet environment the tree structure may still suffer frequent breaks. On the other hand, most widely used unstructured P2P networks rely on central directory servers or massive message flooding, clearly not scalable. So, we consider both of the above systems' advantages and disadvantages and realize that in the P2P systems one node may fail easily, but that when a number of nodes organized as a set, which we call "super node", the set is robust. Super nodes can be created and updated aware of topology-aware, and used with simple protocol such as flooding or "servers" to exchange information. Furthermore the entire robust super node can be organized into exquisite tree structure. By using this overlay network architecture, P2P systems are robust, efficient, scalable and secure. The simulation results demonstrated that our architecture greatly reduces the alteration time of the structure while decreasing the average delay time, compared to the common tree structure. 相似文献
16.
为了解决基三分层互连网络(THIN)系统中的负载平衡问题,提出一种采用多播树技术提高节点间交换负载信息效率的动态负载平衡(DLB)算法--THINDLBA.设计了一套完整的DLB消息和各节点处的信息维护机制以辅助算法实现.重载节点的负载迁移请求消息沿着一棵以该节点为根的多播树传播,被该树覆盖的轻载节点均成为负载迁移的候选目标节点,可以沿着该树和重载节点交互负载信息,从而使重载节点能够在算法的一次执行中外迁最多的过载进程,尽快改善自身负载状态.算法设计中约束了多播树的构造过程,以避免因树间覆盖造成的消息误传或冗余.通过实验对比了4种DLB算法的性能,结果证明THINDLBA能更有效地缩减THIN系统处理计算密集型任务的时间. 相似文献
17.
18.
无线传感网络传感器节点通过自组织网络进行数据信息交互。由于每个传感节点仅能获得局部信息,容易在数据信息交互过程中引发数据冲突,因此设计一种基于CSMA/CA协议的无线传感器网络数据冲突检测系统,主要包括TC35I电源模块、传感器节点检测模块、无线通信模块、手持式检测终端、主处理器STM32F103VB、无线打印机等。系统通过分析对比每个传感节点对数据包的接收状态,实时检测无线传感器网络中潜在的数据冲突|同时,数据冲突检测结果通过上位机软件进行实时显示,具有结构简便、组网简单等特点,可以方便地拓展到其它无线网络中。 相似文献
19.
There were two strategies for the data forwarding in the content-centric networking(CCN): forwarding strategy and routing strategy. Forwarding strategy only considered a separated node rather than the whole network performance, and Interest flooding led to the network overhead and redundancy as well. As for routing strategy in CCN, each node was required to run the protocol. It was a waste of routing cost and unfit for large-scale deployment.This paper presents the super node routing strategy in CCN. Some super nodes selected from the peer nodes in CCN were used to receive the routing information from their slave nodes and compute the face-to-path to establish forwarding information base(FIB). Then FIB was sent to slave nodes to control and manage the slave nodes. The theoretical analysis showed that the super node routing strategy possessed robustness and scalability, achieved load balancing,reduced the redundancy and improved the network performance. In three topologies, three experiments were carried out to test the super node routing strategy. Network performance results showed that the proposed strategy had a shorter delay, lower CPU utilization and less redundancy compared with CCN. 相似文献