基于数据半衰期的数据仓库分级存储研究 |
| |
引用本文: | 曾广移,卢勇,李德华,李俊超.基于数据半衰期的数据仓库分级存储研究[J].教育技术导刊,2019,18(2):123-127. |
| |
作者姓名: | 曾广移 卢勇 李德华 李俊超 |
| |
作者单位: | 1. 南方电网调峰调频发电有限公司;2. 南方电网科学研究院,广东 广州 510623 |
| |
摘 要: | 在大数据时代,数据高速增长,对数据仓库管理方法和技术提出了全新挑战,为实现仓储资源优化配置,提高资源使用效率,首次把数据半衰期运用于数据仓库分级存储。传统固定阈值转存策略存在存储资源配置不合理的问题,利用半衰期分级存储策略,对每个数据对象进行计算分析后转存,采用MPP数据仓库和Hadoop构建混合数据仓库存储架构,解决了大数据背景下的数据存储与分析,实现了数据仓库管理方法和数据存储架构的创新。实际验证发现,数据半衰期转存策略优于固定阈值转存策略,证明数据半衰期在数据仓库的管理中有显著应用价值。
|
关 键 词: | 数据半衰期 分级存储 Hadoop 数据仓库 |
|
| 点击此处可从《教育技术导刊》浏览原始摘要信息 |
| 点击此处可从《教育技术导刊》下载免费的PDF全文 |
|