高效低险化解存储之痛
热2已有 2809 次阅读 2011-05-16 18:25不可承受的存储之痛
我们的世界正逐渐淹没在数据的海洋中。信息洪流带来海量数据,这既是一个机遇,也是一项挑战。一方面,数据有长期存储的价值,我们必须保留很多老数据,另一方面还要面对新数据的增长。根据ZDNet关于用户存储痛点的调查结果,有21%的用户正在被存储容量增长太快所困扰,而其中有31%的企业每年数据增长幅度都在30%~40%之间,而增长幅度超过40%的企业也占到受访者的35%多。作为大量不断增长数据的拥有者,新老系统所带来的难题也日渐突出。


根据这项用户痛点调查可以看到,数据保持着40%左右的快速增长,从而潜在导致系统性能无法满足需求,缺乏有效的备份手段来应对如何庞大的数据,而系统异构化也进一步加重了用户的管理负担
根据这项调查结果,有超过50%的用户的存储设备系统都无法满足需求。他们中间大多数人存储系统已经使用多年,老旧的系统成了企业既不能立即抛弃、使用起来又不能满足性能需求的“遗产”,而且异构化和非标准化现象普遍存在,根据调查结果,同时采用3家厂商系统的用户占到了40%,而仅依赖于一家厂商产品的企业只有5%,大多数企业使用着来自多家厂商的多种类型的系统,既没有一个统一的标准化平台,而且即使是同一家厂商不同系列的产品都存在互操作性的问题。

其次,数据资产的重要性不言而喻,如何保护这些数据就变得尤为重要。然而,很多用户并没有制定一个合理的备份策略,导致数据量日积月累变得越来越庞大,加之没有利用适当的数据精简技术,导致冗余数据充斥着整个环境,既没有达到保护数据的初衷,反而带来更沉重的负担。
诸多难题与挑战同时摆在面前时,传统方法已经不再奏效甚至是诟病丛生,因此,用户必须利用适当的技术和手段重整存储架构来提高存储效率。那么如何重整存储架构?既然预算有限,简单添加存储又不能从根本上解决问题,那么在现有资源之上进行优化以提高性能不失为一种理想的途径。
存储管理呼唤自动化
除了IT预算有限之外,人力资源也是难以调配的,如果通过管理员手动进行优化和管理,不仅效率极低,如果没有周密的规划会耗费大量时间反而做无用功。因此,这里我们所说的重整存储架构的核心原则之一就是利用自动化的方式优化存储,通过软件的自动处理来取代可能耗费大量人工的工作。
如果用户有很多应用,老旧的系统通常会给应用过量分配存储空间,而事实上很多容量是处于闲置状态的,因此应该根据实际需求分配容量才是高效率的做法。但是,让管理员时刻关注容量使用情况并且手动为应用分配存储空间显然是非常耗费时间和精力的,如果有自动精简配置这样技术就可以自动地分配存储空间,并且会在容量用尽之前自动提醒用户,避免影响业务的正常运转。
很多用户有需要频繁访问的“热点”数据和高IO的需求,一方面,人工识别热点数据即加重管理员的负担,又是需要相当周密的规划,另一方面,以前可能我们只是通过增加硬盘数量来提供高IO,但实际数据量并没有那么大,导致容量利用率甚至不足10%。这时候,配合固态盘(SSD)使用的自动分层技术的优点就会凸显出来,软件自动处理和追踪,让我们可以将重要数据或者访问频繁的数据保存在高速存储介质中,访问频率较低的数据放在性能和成本也相对较低的介质中,提高了资产利用的同时降低管理成本。
对于磁盘备份用户来说,每完成一次备份,都会备份大量与之前相同的文件和数据,产生相同数据的多个副本,随着时间推移,冗余数据将充斥着宝贵的磁盘空间,这时候管理员手动定位和删除冗余数据显然是不切实际的,需要一种自动化的数据精简工具来减少需要备份的数据量。而且,不管是数据中心内部的备份,还是以容灾为目的的远程备份,都是需要占用大量带宽的,重复数据删除技术可以将新的备份数据与之前的备份数据进行对比,消除冗余数据,减少对以上两种传输的带宽需求,从而加快备份速度。

根据调查,有26%的用户认为备份的主要难题在于数据量巨大,相应地也就延长了备份时间。所以解决备份的首要任务,就是精简需要备份的数据量,缩短备份窗口
总而言之,在当前IT开支紧缩、人力资源有限的情况下,每年新增数据量都在赶超上一年,陈旧的存储系统无法满足性能要求,新增数据和旧有数据都要管理,如果没有一个有效且自动化的管理工具,那么将会给管理员带来更高要求和难度,那么当用户不可避免地需要购置新存储设备的时候,就可以选择带有自动化功能的存储系统,缓解种种挑战和难题。下面我们将详细介绍主要的一些可以带来自动化特性、有效地优化存储的技术和手段。
多重优化手段逐一击破效率难题
手段一:自动精简配置
自动精简配置是一项根据应用实际需求分配容量的技术。传统存储系统或划分出足够大的空间分配给某项应用,但实际上很多容量是闲置的。而自动精简配置打破了这种分配模式,是解决存储过量供给的有效方式,使你不用购买或者维护超过实际所需的存储。
自动精简配置可以优化可用存储的利用率,在真正需要的时候从共享池中划分存储容量,减少闲置存储容量和降低系统总拥有成本。
手段二:重复数据删除
重复数据删除是一种减少冗余数据的技术,留下并只保存一个数据副本,以及指向重复数据块的指示符。如果按照重复数据删除发生的时间,可以分为Post-process和in-line两种方式;如果按照发生的地点,则可以分为源端和目标端重复数据删除两种。
当信息量越来越多,备份的难度和成本也随之增加,大多数备份的数据都不是唯一的,是有很高重复性的原始数据副本。重复数据删除技术可以减少备份数据,增加对存储容量的需求。
手段三:自动分层
自动分层存储是一种根据数据价值或者数据访问频率迁移到合适的存储层中的技术。手动迁移数据是既耗费时间又带有风险的,而自动分层技术可以自动地将搜索和访问频率较高的“热”数据自动迁移到诸如固态硬盘(SSD)等高速存储中,而将访问频率较低的“冷”数据存放在成本和速度较低的存储介质中。
自动分层技术可以有效地优化数据放置,加快搜索和访问,减轻了存储管理员的负担,最大限度降低存储开销和保存信息的成本。
手段四:存储虚拟化
用户对于存储的需求正在快速增加,导致存储环境分散化和异构化的问题更加凸显,这对于提高利用率、为新用户和新应用分配存储空间是非常不利的。存储虚拟化技术,可以对这些环境进行简化,将分散的存储硬件资源抽象化并整合成一个“存储池”,按照具体需求将存储资源动态地分配给应用,从而降低系统管理难度和成本,提高整体系统效率。
存储虚拟化还可以提高老旧设备的利用率,使其充分发挥“余热”;让数据能够在不同平台时间实时迁移,提高管理员的工作效率。
手段五:数据压缩
目的:现在很多企业都面临着削减主存储和动态存储空间的难题,解决这个挑战是非常关键的,因为“牵一发而动全身”,存储效率提高了,数据复制和备份的效率也会随之增加。数据实时压缩技术虽然没有重复数据删除那么普及,但是门槛相对比较低,能够精简写入到存储系统的数据,减少对带宽的需求,提高磁盘和存储系统缓存效率,从而达到优化主存储的目的。
由此可见,利用以上这些存储优化技术提高存储效率,不外乎有两个方面:一是使用例如重复数据删除和数据压缩等技术减少数据占用的空间,利用自动精简配置和存储虚拟化在多个存储设备之间调配资源,提高容量利用率;二是用相同的钱获得更高性能,例如使用自动分层存储使用少量固态盘应对高IO应用,提高高价值资产的利用率。
“高”与“低”的相辅相成
不同价值的数据需要用不同价值的存储资源来保存,同时也应该有不同的数据保护等级。用户不能只顾着提高效率而忽略数据保护,实际上,在运用高效存储技术的同时也可以降低数据保护成本,反过来数据保护对于系统效率也是有促进作用的。因此,提高存储效率和降低数据风险这两者是需要紧密结合,可以同时实现并且相互作用的。
对于以上介绍的存储优化手段,并不是说用户采用了就可以高枕无忧了,风险意识应该贯穿于整个存储管理过程中。例如,使用自动精简配置和自动分层及虚拟化,但没有使用备份就不可能完全规避风险。在备份过程中,采用诸如重复数据删除等提高效率的方法,可以减少实际备份的数据量,高效地降低数据风险。
同样,在改善存储效率的环节,如果已经对数据所具备的价值进行了分析与区分,那么还将一些长期不用的数据保存在生产系统中的话,就是非常低效的做法,这时候应该适当考虑进行归档并实施数据保护,以便于日后的访问读取以及避免法律风险。这样既提供了保护,存储效率也得到了提升。
当下有很多企业用户,尤其是中小企业出于成本考虑选择云存储的方式。云存储是在云计算概念上延伸和发展出来的,不同之处在于云存储只是将数据保存在云中,如果部署的是通过互联网连接的公共云,那么带宽受限决定了云存储并不太适合于一些在线应用,但在数据备份方面大有用武之地。
对于广大中小企业来说,如果把备份数据和生产数据都放在一个数据中心内,如果发生地震等自然灾害的话就无法保证这些数据得到妥善保护,而且很多中小企业建不起容灾中心。相对来说,云存储提供了一种廉价的远程存储,用户可以将备份数据保存在云中,甚至作为一个远程容灾站点,既提供了异地保护,又不用花很多钱建造容灾中心,而且对于中小企业来说,这样做即使短时间出现中断而无法访问备份数据也是可以接受的,所以这种方式也是当前云存储一个比较广泛的应用。
相较而言,云计算则是指将数据和处理能力同时放在云中,用户只是远程调用一些计算结果。那些建不起机房的企业可以选择使用Salesforce等提供商的云计算服务,或者使用自己的应用,配合网络中的服务器和存储。这样做虽然可以显著降低成本,但同样无法避免数据风险问题。
前段时间Amazon数据中心发生大规模崩溃事故就很好地说明了这一点。这次故障导致保存在EC2云中的数据长时间无法访问,用户业务完全停顿影响非常严重,甚至Amazon因此付出了可能丢掉很多客户的沉重代价。
随着数据越来越重要,哪些数据都不能丢,哪些数据需要快速访问,这都是需要判别和优化的。即使是Amazon这样专门做IT服务的厂商都会遭遇数据风险问题,广大用户就更应该加以重视,尽可能地优化自己的架构,在提高效率的同时规避风险。控风险能力越强,遭遇意外的可能性就越小。








发表评论 评论 (1 个评论)