【云宏大讲坛】云宏超融合集群数据分布原理

2018-05-04

       往期的云宏大讲坛,曾经为大家介绍过超融合架构的概念,以及对比传统存储的优势:

超融合与传统存储的对比

今天将继续深入探究,从技术角度了解云宏超融合集群数据的分布原理。

 

       超融合通过软件定义基础架构,整合计算、存储、网络和虚拟化资源以替代传统SAN存储的方式来建设数据中心,更注重基于低成本的X86服务器来达到数据的管理和控制。

       云宏超融合整合了自主研发的服务器虚拟化平台CNware®和高性能分布式存储系统WinStore。云宏分布式存储基于开源的Ceph做了深度的优化和功能开发。在2015年——超融合元年,云宏便推出了Winhong HCI v1.0,云宏分布式存储WinStore以模块化的方式运行在Hypervisor中而不是运行在虚拟机上,可以将多台物理机上面的本地SSD和HDD组成一个虚拟的存储池,利用多台x86服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和读写效率,还易于扩展,极为方便。

 

       云宏超融合集群数据分布,数据多副本分布,基于全分布式架构,通过CRUSH算法确保数据能够尽可能地平均分布到各个节点上,数据的主副本会自动分布在不同的节点上。

 

要了解超融合集群数据分布,首先有几个重要概念:

 

       Object(对象)——文件切片后生产的逻辑对象,其最大size通常限定为2MB或4MB,以便实现底层存储的组织管理。

       PG(Placement Group,放置组)——对object的存储进行组织和位置映射。具体而言,一个PG负责组织若干个object(可以为数千个甚至更多),但一个object只能被映射到一个PG中,即 “一对多”映射关系。

       OSD(Object Storage Device,对象存储设备)——主要功能包括存储数据、副本数据处理、数据恢复,、数据回补、平衡数据分布,将数据相关的一些监控信息提供给至少2个 OSD,才能有效保存两份数据。一个PG会被映射到n个OSD上,而每个OSD上都会承载大量的PG,即,PG和OSD之间是“多对多”映射关系。在实践当中,n至少为2,如果用于生产环境,则至少为3。一个OSD上的PG则可达到数百个。

 

       超融合集群数据分布算法采用CRUSH算法。CRUSH算法是云宏分布式存储的基石,是一种可扩展的伪随机数据分布算法,用于控制数据的分布,能够高效稳定地将数据分布在普通的结构化集群中。

 

CRUSH算法有以下特征:

       去中心化架构,无元数据服务器,读写性能不会因为集群的扩大而降低;

在相同的环境下,相似的输入得到的结果之间没有相关性,相同的输入得到的结果是确定的;

       确保数据尽可能平均分布在集群的各个节点的所有硬盘上;

       在增删节点导致存储目标数量出现变化时,能够最小化集群间的数据迁移量。

 

数据分布过程

 

       明晰了概念和运用的算法,对数据分布过程的解析将更加直截了当。

       在超融合集群数据分布中,虚拟化与分布式存储融合部署,WinServer虚拟机的虚拟磁盘直接使用WinStore分布式存储提供的rbd块设备。在虚拟机上一个文件的写入过程中,首先会将文件分片,分成多个object,每一个object都可能会写入到不同的HDD(OSD)上,均衡分散到整个集群中。

具体操作流程是:

1.WinStore首先将文件分片(2M),分成多个object,产生object id;

2.根据虚拟磁盘所属的存储池Pool和object id,通过哈希算法和取模,得出所属的PG的ID;PG 在Pool被创建后,就会根据CRUSH 算法计算出来其应该所在的OSD位置,被创建出来。也就是说,在客户端写入对象的时候,PG就已经被创建好了,PG和OSD的映射关系也已经是确定了的;

3.将PG的值传给CRUSH算法,由CRUSH算法得出对应的主从OSD;

4.数据写入到与主从OSD所对应的SSD后,即给上层的业务系统返回写入成功的信息;

5.最后WinStore会根据一定的规则,将SSD中的数据刷写到持久化存储HDD磁盘中。

 

       其中PG映射到OSD中使用CRUSH算法,而不是其他哈希算法,原因之一正是CRUSH具有可配置特性,可以根据管理员的配置参数决定OSD的物理位置映射策略;另一方面是因为CRUSH具有特殊的“稳定性”,当系统中加入新的OSD导致系统规模增大时,大部分PG与OSD之间的映射关系不会发生改变,只有少部分PG的映射关系会发生变化并引发数据迁移。这种可配置性和稳定性都不是普通哈希算法所能提供的。因此,CRUSH算法的设计也是WinStore的核心内容之一。

其他新闻动态
版权所有云宏信息科技股份有限公司 粤ICP备10104379号-1