分布式存储架构 及优点
2024-03-16  33次浏览

20201221020239714.png

必发365服务分布式存储优势:

必发365服务分布式存储往往采用分布式的系统结构,利用多台存储服务器分担存储负荷,利用元数据定位存储信息。它不但提高了系统的可靠性、可用性和存取效率,还易于扩展,将通用硬件引入的不稳定因素降到最低。优点如下:

1.高可靠性

必发365服务分布式存储整个系统无任何的单点故障,数据安全和心务连续性得到保障,每个节点没备之间有专门的教据保护策略,可实现系统的设备级几余,并且可在线更换损坏的硬盘或者节点设备。

采用副本模式对数据形成保护,数据在写入后会按需生成多份副本,并根据设置将数据主从副本存储在不同的硬盘、服务器、机柜、 机房中,以此保证在硬盘损坏、服务器损坏、机柜损坏、机房故障情况下,数据的安全性以及业务的连续性,支持用户数据按照设定的1到6副本进行冗余存储。布式存储系统可按需设置存储池的保护策略(数据副本数量)以及硬盘离线超时时间,最大可支持 6副本。与传统存储 RAID 机制比较,数据副本策略可屏蔽由于硬盘损坏而造成的数据恢复缓慢、恢复过程中存储卷不可用、多块硬盘同时损坏的教据丢失风险,单点故障系统不会丢失数据,带来更高的数据安全。通过强一致性复制协议来保证数据多个副本的一致性。正常情况下保证每个副本上的数据都是完全致的,从任意副本读到的数据都是相同的。如果系统中的某个硬盘出现短暂故障,存储系统会暂时不写这个硬盘上的数据,通过日志记录的方式,记录此硬盘上数据的变化,等硬盘恢复后通过日志信息恢复该硬盘上的数据,如果硬盘长时间或者永久故障,存储系统会将硬盘从存储系统中移除掉,并统计出此硬盘上所有数据的副本位置,将这些丢失数据恢复到其它服务器的硬盘中。副本技术优势如下:

文件多副本同时写入物理硬盘后返回前端数据写入完成,可增强数据整 体安全性,避免由于机房断电造成的数据丢失。可自由设置硬盘离线招时时间,避免硬盘更换后的大量数据迁移,保证,业务系统的优先性。数据恢复效率高,可一小时内完成 4TB 硬盘的恢复。对于容量需求较大的应用我们采取纠删码的磁盘保护技术,EC(Erasure Coding,纠删码)技术是将一份数据切分成,N 块原始数据, 基于N 块原始数据计算获得M 块冗余数据,并将 N+M 块数据分别存放在存储 系统中的不同存储节点上,当其中任意M块数据(N+M 块数据中任意的M块数据)丟失时存储系统可通过数据恢复算法将丢失的 M 块数据恢复,实现冗余和容错的目的。分布式存储系统支持 N+M 格式的纠删码,用户可根据需求自定义 N和 M 的数量,N 代表原始数据块数量,M 代表在不发生数据丢失的前提下,存储系统所允许发生的同时故障的数据块数量,即同时故障节点的数量。

技术优势如下:

纠删码的存储空间利用率高,最高可达到 90%以上纠删码数据保护机制不对 N+M 做任何限制(服务器数量满足的情况下),可确保更高的存储得盘率和灵活度。

2.高性能

高性能,相比传统存储而言提供高出数倍的聚合!0PS和吞吐量,另外可以随着存储节点的扩容而线性的增长,每个存储节点都可以对外提供业务吞吐,专用的元数据模块可以提供非常快速精准的数据检索和定位,满足前端业务快速响应的需求:提供高性能的缓存技术,缓存管理基FSSD Cache 而非CacheTier模式,可灵活定义每个HDD与SSD的缓存关系,精确到县体某一个SSD磁盘和对应的容量。提供KVM及XEN康拟化平台的专用RBD高速存储接口,其中RBD能提供更为优异的低延迟、高I0PS带宽,确保虚拟化平台的高性能,对虚拟化架构的RBD接口进行优化设计,性能更高。

3.高可用

从控制层面、数据层面和访问层面提供高可用保障,确保没有单点故障,为iSCS1、FC传统企业接口设计了MPIO功能,为ISCSI提供VIP功能,提升数据链路可用性,当其中一条路径发生故障时,数据自动切换到另一条路径上,链路恢复时自动切换回来,切换过程中业务不感知存储的但路径故障,集群硬件异常时,或者进行硬件更换维护时,分布式存储进入recovery 状态,分布式存储能对Recovery 10进行控制,并制定策略,根据用户需求保证业务I0或RecoveryI0正常进行。

4.高可扩展得益于合理的分布式架构,必发365服务分布式存储可预估并目弹性扩展计算、存储容量和性能。必发365服务分布式存储的水平扩展有以下几个特性。1)节点扩展后,旧数据会自动迁移到新节点,实现负载均衡,避免单点过热的情况出现,2)水平扩展只需要将新节点和原有集群连接到同一网络,整个过程不会对业务造成影响:3)当节点被添加到集群,集群系统的整体容量和性能也随之线性扩展,此后新节点的资源就会被管理平台接管,被用于分配或者回收5.易扩展

系统可以支持在线无缝动态横向扩展,在采用冗余策略的情况下任何一个存储节点的上线和下线对前端的业务没有任何的影响,完全是透明的,并且系统在扩充新的存储节点后可以选择自动负载均衡,所有数据的压力均匀分配在各存储节点上。可以支持在线扩容,不仅可以垂直纵向扩容,更换高性能磁盘或者大容量,来纵向提升性能和容量;还可以不断增加节点,线性提升集群性能和容量。分布式存储架构具有良好的可扩展性,支持超大容量的存储:扩容存储节点后不需要做大量的数据搬迁,系统可以快速达到负载均律状态。灵活的扩容方式,可以独立扩容计算节点、硬盘、存储节点,或者同时进行扩容。机头、存储带宽和Cache都均匀分布到各个节点上,系统IOPS、吞叶量和Cache随着节点的扩容而线性增加,系统自动将每个卷的教据块打散存储在不同服务器的不同硬盘上,冷热不均的数据会均匀分布在不同的服务器上,不会出现集中的热点。扩容节点或者故障减容节点时,数据恢复重建算法保证了重建后系统中各节点负载的均衡性。

1.开放兼容遵循软硬件解耦的基本原则,服务器可以采用任意品牌,兼容各种服务器品牌,采用硬件无关设计,对SSD、NVMe等硬盘全兼容,兼容主流RAID、HBA卡。底层支持主流Linux系统,RHEL、Cent0s、中标麒麟等。支持VMware、Xen和Hyper等主流虚拟化技术,并支持OpenStack、 CloudStack等云平台技术。

2.多应用接口

必发365服务分布式存储可提供统一存储架构,在一套存储系统中实现按需提供块、文件和对象融合存储服务能力。块存储:提供RBD、SCSI、iSCSI以及FC标准接口,支持广泛的虚拟化平台和数据库应用,提供高性能、高扩展能力,满足基础设施、数据库以及开发测试等场景对SAN的需求;非结构化存储:提供CIFS、NFS、FTP、S3标准接口,以高性能、大规模横向扩展能为用户提供非结构化数据共享存储资源,应用于海量视频存储、备份归档等场景。

3.存储系统标准化

随着分布式存储的发展,存储行业的标准化进程也不断推进,分布式存储针对私有云虚拟化架构可采用行业标准接口(RBD Cinder)进行存储接入。在平台层面,通过将异构存储资源进行抽象化,将传统的存储设备级的操作封装成面向存储资源的操作,从而简化是构存储基础架构的操作,以实现存储资源的集中管理,并能够自动执行创建、变更、回收等整个存储生命周期流程。


石家庄智能充电桩 | 山东空调设备 | 以超分子智能 |