频道栏目
首页 > 网络 > 云计算 > 正文

企业数据备份,需要多少容量和性能满足?

2016-08-30 08:51:14           
收藏   我要投稿

ICT架构师技术交流

分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步。

 

数据备份,需要多少容量和性能满足?

 

在备份项目中,除了选择合适的备份软件,还要考虑存储、备份服务器、存储策略和配置等。关于备份组网、架构和备份软件我们前面已经讨论了,今天我们重点讨论备份存储容量和性能计算。

从备份组网图中我们可以看出,生产存储和备份介质存储的容量、性能都是要在方案设计时计算,当然大部分客户会分步先建设生产系统,然后在考虑建设灾备,但无论如何备份介质存储的配置,需要结合备份策略、网络和生产存储需求来匹配。

 

数据备份,需要多少容量和性能满足?

 

下面我们假设生产存储已经建设完成,我们只需考虑备份介质存储的容量和性能。假设生产存储需要20TB的数据需要备份(暂时业务类型不考虑,目前大多数备份软件都针对不同应用提供Agnet,所以主流应用都可以支持),考虑一年的备份,备份策略是每份数据保留3个月,每天一增备、每周一全备(3个月内,共有14个全备副本、77个增备副本,如果大家计算出来不是这个值,可能还有些细节你还不了解,可以私聊我),备份介质存储所要提供的容量一定要保证可以存储这么多的数据副本。

容量计算方法

如果按照前端容量计算,在一年的第4个季度需要备份的业务量(数据年增长率按照40%计算)就达到了28T,那这些增量、全量副本就需要按照这个数字来计算容量,计算下来全量的存储你容量是28*14,增量的存储容量是77*0.01(0.01是假设的日增量)。

 

数据备份,需要多少容量和性能满足?

 

当然为了节约存储容量,我们可以选择采用备份软件或VTL的重删功能,重删率也随着备份业务类型的不同而不同,再次我们假设全量副本重删比是10:1,增量副本的重删比是1.5:1(增量数据的重复率相比全量会低很多),由于在备份场景,存储容量不可能算的很精确,如日增量、年增量、重删比等都是一个经验值,所以为了让备份介质存储能满足真实业务备份对容量的需求,建议考虑冗余容量,这个随不是强制,但却很必要。

按年增量计算相对要准确一些,但是太过繁琐,本来备份介质容量就不是精确值,所以不太推荐。既然在这里提到了,我们也花点时间来分析下。

从下图可以看出,全量副本和增量副本都还是14和77,唯一不一样的地方就是全备份副本数据量和增量副本数据量的计算方法。在前提假设和需求都不变的情况下,全备份副本每一周备份一次,所以是按7天数据增量为单位的等比数列求和;而增量副本是按日增量计算的等比数列求和,当然在该示例中为了简便计算把公式简化了。

 

数据备份,需要多少容量和性能满足?

 

性能计算对生产存储是比较重要的,因为生产存储所提供的性能必须要满足业务峰值运行时的要求。备份业务一般是有备份窗口,在这个时间内基本上没有业务或很少业务在运行,所以基本上是可以满足业务备份性能需求的。对备份介质存储来说,主要是考虑备份容量。

性能计算方法

下面示例性能是以IOPS计算,通过存储分级来提升整体存储性能,这个示例是计算生产存储容量和性能的,在备份业务中,一般只采用SATA或NL_SAS盘就可以,没必要采用SSD磁盘,而且存储介质存放的都是大文件高带宽数据。

但是性能计算无论是IOPS或是带宽,在原理是比较类似的。提供存储配置时,既要满足性能要求,也要满足容量要求,存储配置就等于MAX(按容量配置、按性能配置)+热备。

 

数据备份,需要多少容量和性能满足?

 

按容量配置时,计算公式是:(单盘容量*磁盘数量-单盘容量*热备盘数量)*RAID利用率,RAID利用率和RAID级别、成员盘个数相关。以RAID5,9个成员盘为例计算,其RAID利用率为0.88。

按照性能计算时,考虑的问题就比较多,如在不同IO块大小、顺序、随机比例下,磁盘的单盘性能都是不一样的。假如按照随机读写计算,一般计算公式为:单盘随机IOPS*硬盘数量/(度比例+写比例*写惩罚),写惩罚和RAID类型相关,RAID10写惩罚是2,RAID5是4,RAID6是6。

 

数据备份,需要多少容量和性能满足?

 

最终按照MAX(按容量配置、按性能配置)+热备公式,取最大值就是满足需求的配置。但在实际项目实施时,还是要考虑一部分空间冗余,主要是因为还有些空间无法精确计算,如对硬盘进行格式化后,创建文件系统,会占相应空间存储元数据;存储系统为了考虑可靠性或防止性能下降也会预留部分空间;增值特性资源池也需要预留空间。

最后,需要跟大家在强调一点,文中采用主存(IOPS型业务)计算IOPS的方法来说明性能计算的(当然用在备份介质确实不合适,因为备份主存数据都是以大文件备份的;当然增量备份并非大文件,是固定块大小备份,一个文件就变化一点,内存怎么聚合也是这一块),备份介质都基本都是存放带宽型业务,但是存储计算带宽时方法与IOPS类似,所以我偷懒了(周末大家都在休息,但我还在分享东西,累啊),这一点在文中有说明,细心的读者定能发现。

然而真正的性能计算,如带宽在计算时,我们也不能直接拿IOPS*块大小算(因为即使IOPS一样,块大小不同,带宽也不同);带宽业务基本都是满条带下盘、RAID写惩罚也会大幅度降低,分级也不能简单相加(还要考虑数据落去不同类型磁盘的占比等)。但按我所描述的方法计算带宽是比较保守的较大化配置(性能肯定能满足需求),性能这块水比较深,没有点篇幅很难讲清,随机比,块大小,业务场景,网络,接口卡,带宽利用率等必须端到短考虑,本文篇幅有限所以只能粗略讲讲备份副本,容量和性能方法了。

上一篇:编译WordCount实例
下一篇:Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
相关文章
图文推荐
文章
推荐
热门新闻

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站