2022年 01期

基于数据分区的云计算高维数据均衡分流

Balanced Streaming of High-dimensional Data for Cloud Computing Based on Data Partition


摘要(Abstract):

针对当前分流策略无法应对高维数据的冗余度、复杂性以及动态变化,为了有效提升云计算高维数据的分流精度与分流效率,以云计算环境下高维数据为研究对象,提出基于数据分区的云计算高维数据均衡分流方法;通过分析高维数据分布特性,明确分区维度、数量以及边界,利用峰间低谷部分中任意点的对应扫描线,完成高维数据分区;采用构建的数据特征提取策略提取高维数据特征,经迭代更新数据聚类中心,实现高维数据均衡分流;通过模拟实验,以数据流标准方差与数据流比例标准方差为指标,验证数据流分流质量与负载均衡效果。结果表明,云计算高维数据均衡分流方法的数据流比例标准方差较小,具有较高的数据分流精度和效率。

关键词(KeyWords): 数据分区;云计算;高维数据;均衡分流;特征提取;聚类中心

基金项目(Foundation): 国家自然科学基金项目(61873120)

作者(Author): 张露,尚艳玲

DOI: 10.13349/j.cnki.jdxbn.20211115.001

参考文献(References):

[1] 李鹏飞,刘春宇,海军.云计算环境下关联性大数据实时流式可控聚类算法[J].科学技术与工程,2018,18(7):185-190.

[2] 张华丽,杨帆,杨华勇.云计算下大数据分布式存储中冗余数据分配算法[J].中国电子科学研究院学报,2018,13(4):433-438.

[3] 郭威,廖丹,王建永,等.双链接无线网络海量电力大数据合理分流方法[J].电子设计工程,2019,27(21):112-116.

[4] 林文敏,张松,刘加邦.边缘计算下面向位置隐私保护的中继分流模型[J].应用科学学报,2020,38(5):724-741.

[5] 周渭博,钟勇,王阳.MapReduce模型中基于直方图的数据均衡算法[J].西北工业大学学报,2018,36(3):480-486.

[6] 张彬,熊传兵.基于体素下采样和关键点提取的点云自动配准[J].激光与光电子学进展,2020,57(4):041008.

[7] 安宁,江思源,唐晨,等.融合单纯形映射与熵加权的聚类方法[J].计算机工程与应用,2020,56(9):148-155.

[8] 王铁兴,王德利,孙婧,等.基于三维稀疏反演的混合震源数据分离与一次波估计[J].吉林大学学报(地球科学版),2020,50(3):895-904.

[9] 马福民,逯瑞强,张腾飞.基于局部密度自适应度量的粗糙K-means聚类算法[J].计算机工程与科学,2018,40(1):184-190.

[10] 王嵘冰,徐红艳,冯勇,等.融合似然比相似度的协同过滤推荐算法研究[J].小型微型计算机系统,2018,39(7):1478-1481.