华为FusionStorage 8.0:哪有什么一夜成名?其实全是百炼成钢

大数据在线袁绍龙
关注


No.4功能与性能的完美平衡

当解决好FusionStorage 8.0性能、数据一致性等挑战的同时,华为存储研发团队又聚焦到如何解决性能与功能的平衡难题上。如果用一个比喻来形容性能与功能之间的关系,那么鱼和熊掌不可兼得就是最真实的写照。比如,重复数据删除和压缩功能已经诞生多时,但是业界依然没有在分布式存储上对重删压缩功能与存储性能之间做好平衡。

“重删压缩功能其实是IO通道上的一个动作,对于存储性能影响很大。像在线重删,对于分布式存储的性能要求很高,而离线重删则对存储产品中的存储介质寿命有着影响。”曹长斌表示。

为此,华为存储研发团队在FusionStorage 8.0中研发出一项在线和离线自适应的重删压缩功能,根据存储系统的CPU、内存、存储介质等资源状况,通过加权算法来实现重删功能的自适应调整。“团队在开发这套加权算法时前后花费了将近两个月时间,通过反复的理论推导和调整,让FusionStorage 8.0的重删压缩功能可以与性能之间完美平衡。”据悉,在高负载情况下,业界的重删压缩功能打开对性能影响可达到30%-50%;而FusionStorage 8.0重删压缩功能的自适应机制则可以将对主机性能的影响降到15%以内,一旦达到15%就自动切换到后端重删。

在海量数据成为常态的情况下,分布式存储的数据可用性也变得至关重要。分布式存储中的冗余功能可以提升数据可靠性和存储系统的可用性。通常,业界采用数据复制或者纠删码功能(Erasure Code,简称EC)来实现数据冗余。相比于数据复制对存储空间的巨大消耗,纠删码技术可以在更小的存储空间实现更优的容错和安全性,但是对于存储系统的性能也有着较大影响。因此,分布式存储中的纠删码功能如何做到存储空间利用率与性能二者兼得就成为业界的难题。

“EC功能有两大难题,一个是打开功能之后对主机性能的影响,有些存储产品在该项功能打开之后对主机性能影响可以达到30%左右;另外一个就是,如何做到大比例的EC。”曹长斌表示。为此,华为存储研发团队设计出多套模型和备选方案来降低EC功能对主机性能的影响,经过多次验证之后,华为智能增强EC功能实现了性能和容量的完美平衡。

“在高并发和高负载的情况下,智能增强EC功能通过IO聚合,并利用存储盘的特质,将随机读写改成顺序读写,来解决性能问题。另外,对于大比例EC,我们采用了追加写的方式,这意味着修改某个数据时,不需要读老数据和校验,从而大幅降低对性能的影响。”

No.5让存储智能起

存储多年以来一直被人所诟病的就是复杂性,容量怎么规划和分配、QoS优先级如何划分、资源利用情况如何、何时进行扩容、故障如何发现和处理等等,这一系列问题会牵扯到用户大量的精力和时间。如何让存储智能起来,这是存储未来的发展趋势,也是FusionStorage 8.0正在全力前进的方向。

存储智能化是智能时代下用户的必然诉求。为此,华为率先在FusionStorage 8.0中将人工智能技术融入到存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维管理。

根据华为介绍,FusionStorage 8.0在存储资源规划方面可以对性能容量趋势进行60天预判;还拥有超过1000个应用模板,实现一键式的资源发放;并且可以进行个性化调优,100%满足SLA诉求;超过2000个故障模式库,93%的问题发现即可给出方案。

事实上,存储是一个利用人工智能技术非常理想的环境,拥有丰富的状态数据和信息,以及固定的业务场景,很容易形成收集状态数据、机器学习和训练、预测预报、智能决策的闭环,通过不断的学习和训练,让存储的运维和管理愈发智能。

FusionStorage 8.0在智能化方面的突破还在于采用云上训练+本地训练的方式,云上拥有超过2PB的特征数据和1000个场景,通过云上和云下结合和协同,可以实现本地的增强训练和提升个性化体验。

No.6让数据永

“我们在新产品中需要尽一切可能防治数据丢失,进一步提升数据可靠性。”2018年一系列具有深远意义的数据丢失事件,促使华为存储高层对于数据安全性和可靠性提出的极高要求。

事实上,在数字化时代下,数据已经成为事实上的一种生产资料,数据正在成为企业与组织机构赖以生存的基础资源。并且,相比于信息化时代,用户在数字化时代下需要面临的数据类型更加丰富、应用场景更加复杂化。比如,物联网应用场景开始逐渐丰富,业务与云之间的联系日渐频繁,这也导致数据丢失的潜在因素正在变多。

为此,华为的思路在于针对各种数据丢失时间的原因和背景进行深入分析,并且提炼和总结出相应的场景可靠性方案,从根源上提供数据防丢失的保障。但是,新问题又出现了:如何在保存可靠性校验的有限空间中容纳这些场景的可靠性方案。

“这的确是一个非常具有挑战性的难题。华为在FusionStorage 8.0中已经包含了能够支撑30多种数据丢失场景的可靠性方案,但是可靠性校验的空间只有64个字节。要充分利用64个字节去容纳30多个场景的预防方案,极具难度。”曹长斌如是说。整个过程就犹如一场精确无比的手术,研发人员将每一个预防方案“植入”到极为可靠性交易空间中,精确到每个比特位。

更加难得的是,数据丢失场景并不是一次性收集完,它是一个持续增加的过程,研发团队在可靠性校验空间中每增加一个预防方案都需要在确保方案可行的前提下,尽可能地节省空间。曹长斌直言:“这是一个无比精细化的处理过程。前前后后调整四、五次之后,整个数据防丢失的预防方案实现了完美存储到可靠性校验空间中。”

No.7从跟随到差异化

“我们希望在FusionStorage 8.0中做出业界竞争对手没有的东西,形成自己的差异化优势。”作为华为存储研发的一名老兵,曹长斌见证和参与了FusionStorage从1.0到8.0的全过程。

众所周知,存储是一个技术门槛较高、相对封闭的领域,国外存储巨头常年处于领先的位置,中国本土存储品牌多年以来一直处于跟随者的角色。曹长斌对此深有感触:“在过去,竞争对手做什么,我们就跟着做什么,采用的是‘Me too,But cheaper’的策略;之后随着自身不断成长,在技术层面迎头赶上,则变成了‘Me too,But Better’。现在则是去寻求开发出别人没有的功能和技术,确定自身的差异化优势。”

事实上,在FusionStorage 8.0中已经拥有众多差异化的优势。比如,新一代存储介质SCM(Storage Class Memory,存储级内存),被认为是填补内存和闪存之间的性能差异的理想介质,它不仅比闪存拥有更加出色的性能和更低的时延,还拥有比内存更大的容量。而业界当前鲜有存储厂商能够充分将SCM融入到存储产品解决方案之中,大部分还是浅尝而止的起步阶段。

“FusionStorage 8.0在SCM的使用上是走在最前沿的。尤其是针对新介质带来的新的读写方式变化,华为存储充分理解了SCM介质自身的理念、架构和特点,采用了字节级写的设计,减少了不需要的外读写操作,最大化发挥SCM的优点。”

除此之外,华为在容灾、备份一体化方案方面进行了创新,并且利用自身在通信网络领域的深厚积累,构建存储+智能AI网络的一体化解决方案,大幅提升自身的竞争力。

“FusionStorage 8.0的成功研发,背后是整个公司倾注的大量心血,不仅仅是公司的成就,也是对包括我在内的广发研发团队成员个人能力的提升。为此,我感到无比骄傲。”曹长斌最后表示道。

No.8写在最后

华为FusionStorage诞生于2012年,源自于“用普通服务器硬件去构建出企业级存储系统”这个想法。一路走来,FusionStorage从1.0成长到8.0,是华为存储人坚持不懈和精益求精的精神,也是华为存储人解决一个个业界难题、逐步实现当初想法的过程,更是中国分布式存储的从无到有、从弱到强的真实写照。

未来,随着5G、物联网、人工智能等应用的兴起,一个更加丰富、更加智能的新数据时代也将到来。华为FusionStorage 8.0不仅让One Data Center One Storage(一个数据中心,一套存储)愿景在新数据时代走向落地,也将开启华为智能数据战略崭新的一页。

▼往期精彩文章▼2019年中国云计算十大预测:有重大并购发生?2018年云计算十大并购,谁将成为下一个云巨头?存储二十年并购回顾,中国存储何时迎来春天?从相爱到相杀,云计算开源免费在2019走向终结!2018超大规模数据中心突破430个,谁数量最多

声明: 本文由入驻OFweek维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存