时间:2022-01-27 18:15:52
序论:速发表网结合其深厚的文秘经验,特别为您筛选了11篇企业数据存储方案范文。如果您需要更多原创资料,欢迎随时与我们的客服老师联系,希望您能从中汲取灵感和知识!
大数据存储不是一类单独的产品,它有很多实现方式。EMC Isilon存储事业部总经理杨兰江概括说,大数据存储应该具有以下一些特性:海量数据存储能力,可轻松管理PB级乃至数十PB的存储容量;具有全局命名空间,所有应用可以看到统一的文件系统视图;支持标准接口,应用无需修改可直接运行,并提供API接口进行面向对象的管理;读写性能优异,聚合带宽高达数GB乃至数十GB;易于管理维护,无需中断业务即可轻松实现动态扩展;基于开放架构,可以运行于任何开放架构的硬件之上;具有多级数据冗余,支持硬件与软件冗余保护,数据具有高可靠性;采用多级存储备份,可灵活支持SSD、SAS、SATA和磁带库的统一管理。
通过与中国用户的接触,杨兰江认为,当前中国用户最迫切需要了解的是大数据存储有哪些分类,而在大数据应用方面面临的最大障碍就是如何在众多平台中找到适合自己的解决方案。
EMC针对不同的应用需求可以提供不同的解决方案:对于能源、媒体、生命科学、医疗影像、GIS、视频监控、HPC应用、某些归档应用等,EMC会首推以Isilon存储为核心的大数据存储解决方案;对于虚拟化以及具有很多小文件的应用,EMC将首推以VNX、XtremIO为核心的大数据存储解决方案;对于大数据分析一类的应用需求,EMC会综合考虑客户的具体需求,推荐Pivotal、Isilon等一体化的解决方案。在此,具体介绍一下EMC用于大数据的横向扩展NAS解决方案——EMC Isilon,其设计目标是简化对大数据存储基础架构的管理,为大数据提供灵活的可扩展平台,进一步提高大数据存储的效率,降低成本。
EMC Isilon存储解决方案主要包括三部分:EMC Isilon平台节点和加速器,可从单个文件系统进行大数据存储,从而服务于 I/O 密集型应用程序、存储和近线归档;EMC Isilon基础架构软件是一个强大的工具,可帮助用户在大数据环境中保护数据、控制成本并优化存储资源和系统性能;EMC Isilon OneFS操作系统可在集群中跨节点智能地整合文件系统、卷管理器和数据保护功能。
杨兰江表示,企业用户选择EMC Isilon的理由可以归纳为以下几点。第一,简化管理,增强易用性。与传统NAS相比,无论未来存储容量、性能增加到何种程度,EMC Isilon的安装、管理和扩展都会保持其简单性。第二,强大的可扩展性。EMC Isilon可以满足非结构化数据的存储和分析需求,单个文件系统和卷中每个集群的容量为18TB~15PB。第三,更高的处理效率,更低的成本。EMC Isilon在单个共享存储池中的利用率超过80%,而EMC Isilon SmartPools软件可进一步优化资源,提供自动存储分层,保证存储的高性能、经济性。第四,灵活的互操作性。EMC Isilon支持众多行业标准,简化工作流。它还提供了API可以向客户和ISV提供OneFS控制接口,提供Isilon集群的自动化、协调和资源调配能力。
EMC Isilon大数据存储解决方案已经在医疗、制造、高校和科研机构中有了许多成功应用。
方案点评
EMC Isilon是一个强大但简单的横向扩展NAS方案,适用于希望投资数据管理而不是单纯存储的企业。当初,EMC将收购来的分布式数据仓库软件厂商Greenplum的软件与Isilon存储组合成了EMC最早的大数据解决方案。用户既可以分开选择Greenplum软件或Isilon存储,也可以选择由Greenplum软件和Isilon存储组成的一体机解决方案。现在,Greenplum软件虽然已归Pivotal公司,但EMC是Pivotal的经销商与合作伙伴,Greenplum与Isilon存储的组合方案并不会因此受到影响。
HDS UCP:统一平台 应用优化
HDS中国区解决方案与专业服务事业部总监陈戈认为,大数据存储应该是一个解决方案:“大数据解决方案是由基础架构的各部件组成的,包含数据存储、计算和分析,而存储是此架构中的一部分。”
大数据的存储类型与传统的存储类型有一定区别:在大数据存储中,更多的应用是一次写、多次读,读得更多是大数据存储的一个特点,而在传统的数据存储中,读写是随机的,由于每个应用不同,其读写的比例也是随机的;大数据存储需要具有横向的可扩展性,并可支持多种接口、多种数据访问协议,便于不同数据进入这个大数据平台。
谈到中国用户在大数据存储应用中最迫切的需求是什么,陈戈认为,中国用户最迫切的需求是如何逐步实现大数据应用,即用户从现有的模式如何过渡到大数据,如何更好地利用大数据进行经营分析。
大数据的经典定义可以归纳为四个“V”,但企业不可能一步到位实现四个“V”,这需要一个循序渐进的过程。海量的、多种类型的数据是一次性全部载入到大数据中,还是通过现有的平台进行数据初选,再导入到大数据平台中,是两种不同的实现途径。“先通过现有平台进行数据初选,再导入到大数据平台,这种方式更适合于客户逐渐实现大数据,可以缩短用户实现大数据应用的时间。”陈戈表示,“大数据主要是非结构化数据。用户可以使用基于对象数据存储的HCP,利用其独特的元数据采集和智能工具,对非结构化文件数据进行管理,实现智能的自动化,这有助于对数据进行深度分析,帮助客户从单一系统中存储、共享、同步、保护、保存、分析和检索文件数据,减少垃圾数据,进而为大数据分析建立一个良好的基础。”
谈到用户在大数据应用中遇到的主要障碍,陈戈表示,一方面,应用软件本身的智能程度是否能满足行业应用需求,应用软件是否已经成型,大数据人才是否具备等,是让大数据应用落地的关键;另一方面,如何抽取数据,放在大数据平台中进行相应的计算是另一个关键问题。
HDS可为所有数据提供单一、可扩展的虚拟化集成平台。HDS推出了“三步”云战略,从基础架构、内容和信息三个层面帮助客户解决目前所遇到的问题。具体来看,通过“基础架构云”,HDS可以帮助客户进行虚拟化和集成管理,实现数据中心的整合;在第二层的“内容云”当中,HDS可以按需提供内容,更可以不受应用限制地进行数据搜索和集成;在第三层的“信息云”中,针对所有数据类型,HDS在其存储平台中融入了分析功能,使客户可以从数据信息中获取洞察力。
HDS提供的UCP for SAP HANA集成了基于大量数据集的创新和内存分析技术,并提供实时的洞察力,从而使当前的信息驱动型企业可以加快其商业决策的速度。陈戈介绍说,UCP for SAP HANA解决方案结合了HDS刀片服务器技术、企业级存储系统和业内领先的网络组件,在这样一个集成的、高性能的硬件平台上可以快速交付SAP下一代内存计算技术。全球已有超过200家客户在使用HDS和SAP的大数据解决方案。
方案点评
其实,HDS的“三步”云战略也可以看成是其大数据战略。HDS借助以UCP为核心的大数据平台,可以帮助企业用户构建从基础架构到内容归档和搜索,直至信息提取和分析的全面、高效的大数据解决方案。HDS的“信息云”直接与大数据相关。UCP是一个集成了计算、存储与网络的一体化平台,它既可以提供像一体机一样的整合性、简单性,又可以提供灵活的选择,连接第三方的设备组件。HDS还通过与包括SAP在内的众多大数据分析类的合作伙伴合作,针对行业定制优质的大数据解决方案。
HP StoreAll :快速部署 极速搜索
中国惠普有限公司企业集团存储产品部存储架构师张楠向记者表示,大数据存储是一套解决方案,应该能够对大数据的Volume、Velocity、Variety和Value四个方面提供全面的支持。
第一,大数据存储要支持海量级的数据存储,比如具有PB级的存储能力。第二,大数据存储要支持更高的存储速度,支持10Gb甚至更高的网络连接。第三,大数据存储要支持数据的多样性,如图片、文本、视频、音频等。第四,大数据最重要的是价值的体现,而为了实现这一点,存储本身应该具备快速、智能的数据检索能力。“在存储的最底层提供最直接、快捷的数据检索。这一过程简单说就是,将上层的数据挖掘工作下移,充分利用存储强大的处理能力和数据识别能力。”张楠举例说,“比如,在秒级的单位内对数据进行极速的搜索, 从几千万甚至上亿个文件中找到目标数据。”
另外,模糊查询能力也是大数据存储不可缺少的功能。智能的模糊查询将为大数据平台提供更加便捷的存储服务能力,使得存储更像一台智能的高速计算设备。
目前,很多中国用户在存储厂商的引导下,片面追求存储的大容量和高性能,而忽略了大数据存储本身应该提供的其他额外属性。中国用户在实施大数据的过程中经常遇到的障碍有以下两方面:第一,无法将存储与大数据平台进行对接;第二,无法充分利用大数据存储的价值,也很难将其运用到实际的业务中。张楠表示,究其原因,主要在于有些大数据存储产品没有开放的接口协议,或没有针对用户的大数据场景进行特别优化,也没有用户容易接受的易用的管理方式等。
惠普在大数据方面可以提供软硬结合的解决方案。惠普在收购Autonomy公司之后,将其软件与惠普的硬件平台进行了整合, 形成了一套完整的大数据解决方案。张楠介绍说,在存储方面,惠普拥有像StoreAll这样的大数据存储平台。借助HP StoreAll硬件平台,用户除了可以实现海量数据的存储和高速数据访问以外,还能实现高级的数据检索功能,对特殊文件进行快速定位。同时,结合HP Autonomy软件的特性,惠普还引入了模糊查询、智能语义库等概念,可以帮助企业用户通过存储底层为上层业务带来所需的大数据业务价值。
如今,闪存不仅在大数据领域,而且在Tier 1存储市场同样占据着十分重要的地位。对于大数据平台来说,闪存可用来提升存储的存取速度,降低I/O的响应时间等。针对那些I/O压力十分明确的大数据平台, SSD可以发挥其效果, 提升存储的整体性能。但是,SSD并不是万能的。因为大部分的数据都是非结构化的,而非结构化数据对I/O的响应要求远远没有对带宽的需求大,所以,让用户花数倍的价格购买SSD存储在目前来看还是比较困难的。从目前情况看,引入闪存的大数据解决方案还不是很普遍。
方案点评
惠普在大数据方面收购了两个软件公司Vertica与Autonomy,然后将它们的软件与原有的硬件平台进行整合,针对结构化和非结构化的数据都可以提供针对性的解决方案。惠普在将大数据软件与存储硬件结合上也进行了尝试,其中一个成功的例子就是HP StoreAll大数据存储平台。HP StoreAll具有以下特点:横向扩展,最大可以扩展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,实现实时大数据的价值;内置对OpenStack的支持,可快速部署;支持文件和对象类型的数据存储。
NetApp:统一架构 无限扩展
如今,企业若想获得成功,就必须想方设法应对具有前所未有的复杂性、高性能的海量数据,并尽可能地管理这些数据,从中发掘更大的商业价值。
对于国内用户来说,无论企业的规模和数据量大小如何,运用大数据的关键在于,企业是否把大数据作为一个真正的工具,去体现企业的差异化,从而提升竞争力。随着越来越智慧的企业信息化的发展,IT不再是束缚企业发展的瓶颈,而是真正地融入了企业自身的业务中。越来越多的公司将大数据成功地运用于企业的商业模式。例如,在欧美,很多企业已经着手将大量资源投放在大数据领域。反观国内,在金融领域,有为数不少的企业通过大数据的分析工具来分析金融的走势,实现风险管理,进行信用卡的追踪等。此外,像零售、制造、电信等行业也已在尝试利用大数据分析工具为企业营销和决策提供支撑。
无论企业现在是否正在使用大数据工具,企业都应全面地考虑自身未来发展的需求,选择一个厂家的平台与之共同发展,这可以有效避免因数据和应用迁移带来的麻烦。
在大数据方面,NetApp能够帮助企业实现数据管理,应对业务挑战的极限,将以数据为导向的洞察转化为有效行动。若想将数据转化为商机,仅仅提升管理能力是不够的,需要彻底转变数据和业务之间的联系模式。NetApp可以帮助企业用户持续管理数据,迅速把握意料之外的新商机,永久保存所有数据,并在灵活、开放的存储平台之上打造属于企业自己的大数据解决方案。
NetApp提供了可高效处理、分析、管理和访问大规模数据的大数据解决方案。NetApp的解决方案组合可划分为分析、带宽和内容三个主要用例,这被称之为大数据的“ABC”基本要素。
具体来看,分析(Analysis)是指针对极大数据集的高效分析。NetApp分析解决方案就是帮助用户深入了解和利用数字世界,将数据转化为高质量的信息,以及提供关于业务的更深入见解,从而帮助企业做出更好的决策。
带宽(Bandwidth)是指适用于数据密集型工作负载的性能。此类解决方案着重于为速度非常快的工作负载提供更高的性能。高带宽应用包括高性能计算(能以极快的速度执行复杂的分析)、用于监控和任务规划的高性能视频流、媒体和娱乐领域中的视频剪辑和播放。
内容(Content)是指无限的安全数据存储。此类解决方案着重于满足可扩展的安全数据存储需求。内容解决方案必须支持存储的无限扩展能力,以便企业可以根据需要存储任意多的数据,并能在需要时找到所需的数据。
NetApp致力于通过一系列解决方案来提供高性能的运算和大数据的应用。2013年11月,NetApp再次更新了E系列家族产品,推出E2700和E5500。该系列产品采用可轻松扩展的设计,适用于要求99.999%的可靠性且稳定、高性能的工作负载。
用户在采购大数据存储产品时,需要注意以下五个方面的问题:大数据存储必须具有向上扩展与向外扩展的能力;架构必须是针对工作负载进行优化的,具有实时处理能力;具有整合的数据保护功能;保证7×24小时运行不中断,可在线进行容量扩展,实施数据迁移等;可以实现服务的自动化。
方案点评
NetApp的技术优势集中体现在其统一存储平台上,从入门级产品到企业级产品,全部基于同一个体系架构和操作系统,不仅部署和使用方便,而且升级和扩展非常简单。当初,NetApp收购LSI Engenio,其中一个重要的原因就是为了大数据。2013年,NetApp不断更新E系列产品线,推出E2700和E5500等。E5500可以支持高IOPS混合工作负载和数据库、高性能文件系统和带宽密集型流等应用,可确保数据的高可用性、完整性和安全性。
曙光XData:高度集成 贴近行业
关于大数据存储,目前业界没有一个通用的定义。曙光信息产业股份有限公司总裁助理兼存储产品线产品总监惠润海从曙光大数据平台和解决方案角度,概括出大数据存储的主要特征。
首先,大数据存储必须支持全类型数据, 包括结构化、半结构化和非结构数据,实现统一数据支持。
其次,存储性能上,一方面,大数据存储要支持海量数据,并且要在保证数据可靠性的基础之上,实现容量与性能的线性扩展;另一方面,为了实现大数据的价值,批处理和实时处理两种措施都需要高性能的数据访问获取能力。
最后,在系统达到一定规模之后,系统的易用性和可管理性也是不可或缺的。
从应用角度来说,目前中国用户在大数据存储应用中最迫切的需求,是如何真正实现用户数据的价值,如何驱动业务发展,实现决策和运营。“从系统构建层面说,要实现数据高性价比的存储和管理,同时满足数据服务的相关需求。”惠润海表示。
针对用户对大数据存储的需求, 曙光推出了像大数据一体机这样的全类型数据分析型产品,同时还基于该产品构建了基于行业的解决方案,以帮助用户实现大数据落地。
“除此之外, 我们还提供了大数据统一数据中心解决方案, 涵盖了像主攻事物处理的DS900、DS800,以及针对文件存储的Parastor等存储产品。我们基于这些存储产品构建了大数据运营管理平台。”惠润海介绍说,“曙光的优势不仅在于可以提供全面的产品支撑,更重要的是能够提供数据生命周期过程服务支持。目前,我们提供的免费维保期限为5年。”
曙光开发了针对不同行业和应用场景的大数据存储解决方案。以金融行业为例,目前国内四大行的应用系统每年产生的非结构化数据量已达到PB级,结构化数据也以百TB计。面对如此大量的数据,如何存储、管理、利用和盘活它们呢?惠润海认为,只有通过商业智能和高级分析应用解决方案才能将数据的价值最大程度地发挥出来。
针对金融行业用户的需求,曙光开发的XData大数据解决方案利用优化的大数据处理技术,对文件管理、历史数据查询和数据分析类应用等进行深入研究,为数据爆炸式增长带来的海量数据存储及分析应用提供高可靠的解决方案。
曙光金融行业XData大数据解决方案采用曙光自主研发的SN-MPP并行数据库,同时结合大数据处理事实标准Hadoop,并充分考虑了多方面的数据收集,加入ETL工具和连接驱动器,提供了类SQL的接口,还和现有金融业务系统进行对接。
有些人往往也把双机热备份、磁盘阵列备份以及磁盘镜象备份等硬件备份的内容和数据存储备份相提并论。事实上,所有的硬件备份都不能代替数据存储备份,硬件备份只是拿一个系统、一个设备等作牺牲来换取另一台系统或设备在短暂时间内的安全。若发生人为的错误、自然灾害、电源故障、病毒侵袭等,引起的后果就不堪设想,如造成所有系统瘫痪,所有设备无法运行,由此引起的数据丢失也就无法恢复了。事实证明,只有数据存储备份才能为人们提供万无一失的数据安全保护。
随着网络应用规模的扩张和计算机应用的深入、企业数据存储量呈爆炸性增长,企业用户的存储系统日益庞杂,存储管理的成本也在大幅上升。数据备份、灾难恢复和存储资源管理等存储理念正在得到用户的接受,网络存储也逐渐得到更广泛的应用。目前市场上的存储产品主要有磁盘阵列、磁带机与磁带库、光盘库等,其中磁带设备以其技术成熟、价格低廉、产品线齐全、使用方便等优点占据了存储市场的重要地位。
企业数据存储的三种方式
在企业刚刚建立初期,用户的数据规模并不大,存储需求也很简单,只是要把相关数据存放在某一地方即可。而存放数据的最终目的不仅是为了能够安全保存,还必须保证数据可以随时被调用。我们最早都是采用一种称之为“DAS(Direct Attached Storage,直接外挂存储)”存储方式的一种方案。这种存储方案的服务器结构如同PC机架构,外部数据存储设备(如磁盘阵列、光盘机、磁带机等)都直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部分,同样服务器也担负着整个网络的数据存储职责。DAS这种直连方式,能够解决单台服务器的存储空间扩展、高性能传输需求,并且单台外置存储系统的容量,已经从不到1TB,发展到了2TB,随着大容量硬盘的推出,单台外置存储系统容量还会上升。此外,DAS还可以构成基于磁盘阵列的双机高可用系统,满足数据存储对高可用的要求。从趋势上看,DAS仍然会作为一种存储模式,继续得到应用。
NAS(Network Attached Storage,网络附加存储)方式则全面改进了以前低效的DAS存储方式,它是采用独立于PC服务器,单独为网络数据存储而开发的一种文件服务器。NAS服务器中集中连接了所有的网络数据存储设备(如各种磁盘阵列、磁带、光盘机等),存储容量可以较好地扩展,同时由于这种网络存储方式是NAS服务器独立承担的,所以,对原来的网络服务器性能基本上没什么影响,以确保整个网络性能不受影响。它提供了一个简单、高性价比、高可用性、高扩展性和低总拥有成本(TCO)的网络存储解决方案。
SAN(Storage Area Network,存储域网络)与NAS则是完全不同,它不是把所有的存储设备集中安装在一个专门的NAS服务器中,而是将这些存储设备单独通过光纤交换机连接起来,形成一个光纤通道的网络,然后这个网络再与企业现有局域网进行连接,在这种方案中,起着核心作用的当然就是光纤交换机了,它的支撑技术就是Fibre Channel(FC,光纤通道)协议,这是ANSI为网络和通道I/O接口建立的一个标准集成,支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议。在SAN中,数据以集中的方式进行存储,加强了数据的可管理性,同时适应于多操作系统下的数据共享同一存储池,降低了总拥有成本。
选择合理数据存储方案
企业存储应用的体系结构主要有DAS、NAS和SAN三种模式,三种模式从体系架构的逻辑上看,有明显的区别。一个企业存储具有以下几方面的要求: 性能、安全性、扩展性、易用性、整体拥有成本、服务等等。由于企业用户的存储系统构建并不是一蹴而就的事情,会经历从单机迈向网络化存储的过程,因此就存在DAS、NAS和SAN三种存储方案供企业用户进行不同的选择。
1. 选择DAS方案
DAS直连式存储依赖服务器主机操作系统进行数据的I/O读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统I/O等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20%~30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。这种方案主要在早期的计算机和服务器上使用,由于当时对数据存储的需求并不大,单个服务器需要的存储能力就可以满足日常数据存储需求,因此在低档网络应用中相当普遍。
2. 选择NAS方案
NAS作为一个网络附加存储设备,NAS设备内置优化的独立存储操作系统,可以有效、紧密地释放系统总线资源,全力支持I/O存储,同时NAS设备一般集成本地的备份软件,可以不经过服务器将NAS设备中的重要数据进行本地备份,而且NAS设备提供硬盘RAID、冗余的电源和风扇以及冗余的控制器,可以满足保证NAS的稳定应用。
NAS设备主要用来实现在不同操作系统平台下的文件共享应用,与传统的服务器或DAS存储设备相比,NAS设备的安装、调试、使用和管理非常简单,采用NAS可以节省一定的设备管理与维护费用。NAS设备提供 RJ- 45 接口和单独的IP地址,可以将其直接挂接在主干网的交换机或其他局域网的Hub上,通过简单的设置(如设置机器的IP地址等)就可以在网络即插即用地使用NAS设备,而且进行网络数据在线扩容时也无需停顿,从而保证数据流畅存储。
NAS数据存储方案是基于局域网而设计的,按照传统的TCP/IP协议进行通信,面向消息传递,以文件的I/O方式进行数据传输。在LAN环境下,NAS已经完全可以实现异构平台之间的数据级共享,比如Windows NT、Linux、Unix等平台的共享。基于这种种原因,NAS存储方案对于企业来说的使用和维护成本就相当低,完全可以由现有网管员担当。
3. 选择SAN方案
由于SAN是通过一个单独的通常是基于光纤通道的SAN网络把存储设备以及服务器相连,如此当有海量数据的存取需求时,数据完全可以通过SAN网络在相关服务器和后台的存储设备之间高速传输,对于LAN的带宽占用几乎为零,而且服务器可以访问SAN上的任何一个存储设备,提高了数据的可用性。在对性能和可靠性要求较高的场合,采用先进的SAN数据存储网络,可以使数据的存储、备份等活动独立在原先的局域网之外,从而将减轻LAN的负载,保证原有网络应用的顺畅进行; 同时SAN网采用光纤传输通道,可以得到高速的数据传输率。
SAN方案简化了管理和集中控制,这对于全部存储设备都集中在信息中心,是非常有现实意义的。SAN将企业的存储和服务器平台分开,可以实现24 x 7不间断的系统可用性和集中管理,在这个平台的基础上,还可以应用一套统一的灾难恢复解决方案,同时可经济高效地扩展存储环境。因此SAN非常适用于非线性编辑、服务器集群、远程灾难恢复、因特网数据服务等多个领域。
某电力农电公司(以下简称总部)于2001年正式成立,在18个辖区设有供电营业所(简称营业所),负责供用电管理。农网改造以后,对供电所的业务管理水平和服务质量提出了更高的要求,2009年,总部对各营业所实施了一期工程,营销业务实现了计算机化,营销工作发生了巨大变化。但是,由于营业所没有与总部联网,总部对营销数据的处理(如报表合并汇总)仍停留在手工处理阶段,营业所仍需驱车往总部送各种报表,其总体工作效率并不高。随着覆盖各营业所通信网络的建成,给总部与营业所联网运行(以下简称联网运行)创造了条件。所以,2012年总部提出联网运行的要求,一是总部与营业所实现联网运行,实现总部与各营业所的互联互通,实现整个农电公司的信息共享;二是实现总部对营业所进行汇总统计、汇总分析、综合查询等功能及对营业所营销业务的集中监管。
1 面临的主要问题
用电所分布在离总部方圆200公里范围,对联网运行影响最大的是数据存储方式,即数据是采用集中存储在总部还是分散保存在营业所,将直接关系到联网运行的效果和可行性。解决数据存储问题必须考虑以下因素:
① 保证营销系统的正常运行。
② 数据存储方式应有利于总部汇总统计、分析及集中管理。
③ 农电网络覆盖面广、传输距离远、中间结点多;加之农电网络属于企业内部非营利性网络,主要用于电力企业内部的通信和变电所监测,在网络故障诊断、故障排除等网络维护方面的能力有限。所以,数据存储方式必须结合网络的实际情况,既要保证原有营业所营销系统的稳定运行,又能满足总部对数据集中管理的需求。
2 解决方案
针对联网运行的需求及所面临的主要问题,提出了三种解决方案:
方案一:在总部设置集中数据存储系统,集中存放营业所的数据,营业所不设置数据库服务器,通过网络连接总部的数据库获取数据,完成相应操作。
优点:
(1)客户端维护简单,维护成本低。由于数据统一集中存放在总部,各营业所不涉及数据库维护工作,因此,营业所一端维护相对简单。
(2)有利于集中管理。总部可以对各营业所的数据进行实时监控管理。
(3)数据一致性好。数据集中存储在总部,各营业所需要访问总部唯一的数据库,不存在数据同步问题,数据一致性好。
(4)有利于数据共享和数据挖掘。数据集中存储有利于与其它系统的共享数据资源,有利于后期进行数据挖掘工作。
缺点:
(1)系统存在安全瓶颈。由于数据集中存储在总部,数据网络成为整个系统的安全瓶颈,一旦网络出现故障,各营业所的计算机业务将陷入瘫痪。
(2)独立运行处理能力差。系统运行必须建立在网络联通的情况下,如果总部主机出现故障,所有远程子站点将无法进行工作,这在很大程度上制约了营业所工作的主动性,营业所的运行依赖于总部的正常运行。
方案二:完全分布式数据存储。数据存储在各营业所,总部通过网络调用营业所数据,进行合并汇总、分析及查询等操作并将统计结果保存在本地。
优点:
前期投入少、见效快。由于总部不保存营业所数据,只存放汇总统计结果,因此只需投入普通的数据库设备,而且工程实施相对简单,实施周期较短。
缺点:
(1)总部应用系统结构复杂。由于数据分布在各营业所,总部需要连接各营业所的数据库进行汇总统计,应用系统结构比较复杂。
(2)维护成本高。数据库集中在营业所,对数据库的维护也集中在营业所,而营业所缺乏专门的系统维护人员,需要配备专门的维护人员进行定期维护,维护成本比较高。
(3)总部的运行依赖于营业所,营业所一旦出现数据库故障,总部将不能进行汇总统计工作,影响总部对信息的及时掌握与决策,不利于总部对营业所的集中管理。
(4)数据分布在各营业所,不利于营销系统与其它系统进行数据共享,不利于后期进行数据挖掘工作。
针对以上两种存储方案的不足,本文提出集中分布存储方案。该方案采用数据增量复制技术,实现数据的分布存储与集中管理。
方案三:集中分布式数据存储。数据首先存入营业所数据库,然后采用远程数据增量复制技术,实现营业所数据与总部数据的同步。增量复制只对发生变化的数据进行传送,从而降低传送数据量,提高效率。总部需要增加数据存储系统,用来同步保存营业所的数据及汇总、统计结果数据。
优点:
(1)系统安全性高。各营业所计算机业务在本地进行,不依赖公司总部,即使网络出现故障,仍可保证各营业所计算机业务的正常运作。
(2)可靠性高。实现数据双备份,具有冗灾功能。采用“增量复制同步”技术,相当于营业所的数据在总部有一个备份,一旦营业所的网络或服务器发生故障,可以连上总部的数据库进行操作,系统可靠性明显提高。
(3)总部有集中数据存储,有利于与其它系统进行数据共享,有利于后期进行数据挖掘工作。
缺点:
(1)容易发生数据一致性问题。集中分布式存储的一个关键问题是解决集中存储与分布存储数据的同步问题,如果处理不当,容易产生数据不一致的问题。
(2)营业所端维护量大。营业所需要维护人员对数据服务器进行定期维护,维护量大。
综上所述,集中分布式据存储模式优势比较明显,如:数据既集中又分布,应用非常灵活方便;不需与总部连接即可独立操作(数据存在本地);系统运行速度快;只对变化的数据进行远程传送复制,传输效率高。以目前农电公司的状况来看,集中分布式存储加远程数据增量复制技术是最佳的解决方案。
3 总结
集中存储有利于信息资源的共享和数据挖掘,有利于消除信息孤岛。但是,集中存储要求网络环境必须是稳定和安全的。对于那些实时性有很高要求且网络安全有保障的系统,可以采取集中存储。然而,如果系统的规模大,跨越的区域较大时,则对网络的要求很高,会相应增加运营成本和维护管理费用。为此,对于集中分布式存储是一种可行的解决方案,对于那些既要满足远程分部的独立运行,又需要总部对分部进行集中管理的企业具有一定的借鉴意义。
参考文献
[1]邵佩英.分布式数据库系统及其应用(第2版)[M].科学出版社,2005.
[2]郭平,数据库原理(第2版)[M].清华大学出版社,2005.
[3]赵文辉,网络存储技术[M].北京清华大学出版社,2005.
[4]王达等,计算机网络远程控制[M].北京清华大学出版社,2004.
作者简介
2013年8月,IBM在国内正式FlashSystem全新闪存解决方案的同时,也首次提出了“数据经济”的概念。在步入大数据时代后,企业用户面对爆炸性增长的数据量,在数据的采集、处理、存储、分析等方面承受着巨大的压力。IBM数据经济理念的提出,让企业用户重新审视现有的数据存储、处置和管理状况,从经济化的角度去考虑如何提升存储的性能、效率,同时降低成本,并充分彰显数据的价值。
刚刚上任不久的IBM系统与科技部存储产品部大中华区总经理黄永志在回答本报记者提问时表示:“我们之所以提出数据经济的理念,主要目的是提醒行业用户应该对当前的数据问题进行梳理,找出数据和存储对业务的影响,使之量化,并按影响程度进行排序。在此基础上,准确定位目前面临的存储问题,进而制定解决问题的近期、中期和远期目标。”现在,IBM可以通过一套系统的咨询方案,帮助行业用户分析并找到数据存储中的问题。不仅如此,IBM还能通过其完整且具有针对性的存储解决方案,帮助用户彻底解决数据存储中的各类问题,并承诺可以在多大程度上让用户的存储系统得到改善。比如,通常情况下,IBM FlashSystem可以将用户的存储系统利用率提高50%,将所需服务器的数量减少17%。
三大业务场景因“地”制宜
11月8日,IBM在北京召开了主题为“创存储之先,领数据经济”的IBM智慧存储“数据经济”会,针对数据密集型业务、需要快速上线的社交和移动等业务,以及企业关键应用三种业务场景,细致地阐述了如何实现数据的经济化,从而推动业务的变革。
在数据密集型业务中,企业需要快速处理海量数据,为业务决策提供支撑,并获取更多商机。只有高效的存储系统才能满足这种业务需求,比如IBM FlashSystem能够显著提升OLTP和OLAP的效率,加快数据处理速度,并支持大量并发用户,而IBM SmartCloud Storage Access则支持软件定义存储,提供自助配置服务和用于ISV应用集成的云存储API,帮助客户更灵活地构建云存储解决方案。IBM高端存储XIV具有极高的性能和自动化功能,并针对云部署优化,还可支持OpenStack等开放标准工具。
0 前言
地理空间框架是“数字湖南”的核心、重要基础与支撑。而地理空间框架由地理信息数据组成;因此,解决了地理信息数据的存储问题,也就解决了“数字湖南”数据的存储问题。地理信息数据的主要特点是:数据量庞大且增长迅速;数据格式繁多且不易转换;数据安全性要求高。为满足以上要求,地理信息数据的存储必须做到:足够的数据存储容量;较高的数据传输效率;兼容异构平台;可充分利用局域网内各种存储设备,减少数据多重拷贝;简化数据备份与管理,提高数据备份、恢复效率;最重要的是高可靠的数据安全特性。
为了更好地管理快速增长的地理信息数据,需要对“数字湖南”数据中心的网络存储系统进行统筹规划;考虑未来技术发展趋势和快速增加的数据量,应以满足“十二五”期间的数据存储管理需求为目标,进行数据中心网络存储方案设计。本文在研究当前存储主要技术、发展趋势以及地理信息数据存储现状的基础上,制定了“数字湖南”数据中心的内网数据网络存储方案。
1 当前主流存储技术
目前,应用较多的网络化存储系统主要是表1所列的三种:
从表1可以看出,只有SAN较适用于地理信息数据的存储。
虚拟化存储和云存储是未来存储技术的发展方向。存储虚拟化是为存储用户提供统一的虚拟存储池;即将品牌、级别不同且分散的存储产品统一到一个(或几个)大的存储池下,用户看见的不再是孤立的、分散的系统,而是一个统一的整体;它方便用户更好地使用存储资源,提高存储资源利用效率。虚拟化存储是提高网络存储系统可管理性的核心技术之一,也是目前研究的热点。目前主要有以下三种虚拟化存储技术:
由表2可见由于基于主机和基于存储的方法对初建者吸引力最大;但兼容性差。基于路由器或交换机的方法更为适合于互操纵性要求高的企业;前者具有更高可扩充性。
目前,云存储由于安全性远远达不到地理信息数据的保密要求,故不予考虑。
2 数据中心数据存储方案设计
现以某地理信息中心为例设计数据存储方案。
2.1 数据中心数据存储需求
该中心2001年建成了采用DAS方式连接的数据存储系统,数据容量为1.5TB。虽然数据存储系统经过几次升级扩容,存储容量扩大到10TB以上,但仍为DAS连接;无法满足中心的数据存储备份需求。主要存在以下问题:存储总容量太小;数据的安全性、一致性和完整性面临多方威胁;存储资源浪费现象严重;网速太慢。
因此,数据中心数据存储系统建成后,应具备如下性能:数据容量60TB;采用易管理、省投资、可扩展的集中化存储架构;较高的存储备份速度;较好的可管理性;高可靠性;完善的灾难恢复计划;连续地提供数据查询、检索和分析、计算的功能。
2.2 存储技术选型
通过第2节的分析已确定了SAN技术比较适合地理信息中心的数据存储备份,下表对IP-SAN与FC-SAN两种技术进行了一般性比较。
从表3中可以看出FC-SAN目前比较适合地理信息数据存储。
从第2节中已知基于交换机的虚拟化技术与其他虚拟化技术相比具有较高的安全性、易使用、设备便宜,较好的互操作性,较易实现故障接替等优点,故采用FC-SAN+基于交换机的虚拟化存储构成池化存储是该地理信息中心的最佳数据存储方案。
2.3 数据存储架构
数据存储结构拓扑图如下:
3 方案评价
该方案的特点是:
1.采用基于交换机的虚拟化存储;采用了性价比较高的硬件设备,故成本较低。
2.存储网络采用了FC-SAN,传输速率较高。
3.采用了虚拟化存储技术,整个存储系统整合为一个存储池,设备利用率高。4.采用了合理的RAID技术,提高了磁盘容错能力。
4 不足之处是没有备份和容灾。
综上所述,该方案提供了一个可行的高性能、任务关键性数据存储中心环境。
“私有云”是针对处于防火墙内的有限人群提供托管服务专有计算网络架构,其优点是:构筑在防火墙后,数据安全性较高、服务质量稳定,不影响现有IT管理的流程,大大降低了成本。 随着云存储技术的不断发展,未来“数字湖南”数据中心数据架构存储可以考虑采用“私有云”方式。
参考文献:
摘要:随着云计算和大数据技术的发展,传统的单一存储介质的数据存储方式已经不能满足大数据处理的需求,在这样的背景下,分布
>> 分布式存储系统中一致性哈希算法的研究 基于有向通信拓扑的高阶分布式一致性算法 基于一致性的分布式粒子滤波算法 分布式业务流程实时一致性分析方法 分布式数据不一致性检测的实现与优化 一种基于影像块组织的遥感数据分布式存储方法 基于资源分类信息树的教育资源元数据分布式存储 云存储中基于PAXOS算法的数据一致性研究 一种基于信息分散算法的分布式数据存储方案 混合分布在非一致性水文频率分析中的应用 分布式环境中数据存储技术的研究 大数据分布式存储的冗余研究 一种协同工作环境中(分布式)的容错和安全数据存储方法 基于分布式的海量数据存储解决方案 运维系统告警数据的分布式存储方法 基于Ceph的企业分布式存储方案 一种基于vSAN的分布式存储系统构建和应用 基于云技术的分布式实时是数据库高性能数据存储检索机制探析 基于云技术的分布式实时数据库高性能数据存储检索机制探讨 基于一致性哈希算法的云存储服务器容错性研究 常见问题解答 当前所在位置:l】
[12]CHIANG M, ZHANG S, HANDE P. Distributed rate allocation for inelastic flows: Optimization frameworks, optimality conditions, and optimal algorithms [C]// INFOCOM 2005: Proceedings of the 24th Annual Joint Conference of the IEEE Computer and Communications Societies. Washington, DC: IEEE Computer and Communications Societies, 2005, 4: 2679-2690.
近年来,镇江供电公司企业信息化不断深入发展,部署了大量的计算机设备、业务应用系统,网络资源已经几乎布署到了每一个专职岗位。随着这些应用的不断完善,大量的业务数据和个人文档需要备份,这样,数据存储的矛盾就日渐突出。在很多情况下,计算机存储的数据丢失可能演变成一场灭项之灾。因此信息存储系统的可靠性和可用性,数据备份和灾难恢复能力是计算机网络用户首先关心的问题。网络数据存储技术的主要目标就是要实现数据存储的安全性、高效性、可靠性、可管理性以及快速恢复能力和强大的网络特性。存储备份技术不仅仅指数据的简单备份,而且还包括内容及备份的管理等多方面。
1、网络存储技术
网络存储技术是基于数据存储的一种通用网络术语。网络存储结构大致分为三种:直连式存储(DAS):这是一种直接与主机系统相连接的存储设备,如作为服务器的计算机内部硬件驱动。到目前为止,DAS仍是计算机系统中最常用的数据存储方法。存储网络(SAN):SAN是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作SAN的接入点。在有些配置中,SAN也与网络相连。SAN中将特殊交换机当作连接设备。它们看起来很像常规的以太网络交换机,是SAN中的连通点。SAN使得在各自网络上实现相互通信成为可能,同时并带来了很多有利条件。网络存储设备(NAS):NAS是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。由于这些设备都分配有IP地址,所以客户机通过充当数据网关的服务器可以对其进行存取访问,甚至在某些情况下,不需要任何中间介质客户机也可以直接访问这些设备。
2、Wallstor网腾WIP6系列IP SAN存储系统
Wallstor WIP6系列网络存储采用一体化NAS/IPSAN/FCSAN设计,支持多功能模块,便于用户按照自己的环境要求选用合适的功能,该存储性能突出,易于管理,安装简便,能够真正做到即插即用。Wallstor存储系统基于成熟稳定的嵌入式Linux系统,高性能的四核心xeon架构平台,纯64位设计体系,通过对Linux内核及rootfs的精简和对RAID算法、存储协议栈、网络协议栈、文件系统的大量优化,可以满足普通中小企业的数据存储需求。
3、镇江供电公司信息化建设在数据存储和数据安全方面的需求
大容量存储:信息集中化的发展必然带来大量数据的集中,因此,存储容量的需求是非常巨大的。尤其是高效、可靠、可管理的存储硬件和软件,能够满足服务器数据集中、个人文档数据集中的存储。
数据备份系统:业务应用数据作为镇江供电公司信息系统的核心,对数据进行集中地备份管理、显得尤为重要。因此,需要一个全方位、多层次的备份系统。
4、实施解决方案
为解决镇江供电公司信息化发展过程中大量的业务数据和个人文档的数据备份矛盾,我们在设计存储系统时,充分考虑了系统基本功能的实现和它们的伸缩性、扩展性和集成性方面的需求,进行了系统的设计,具体拓扑图如下:
存储方案设计:经过对多个存储设备方案的分析、比对,我们最终决定存储设备选用Wallstor网腾WIP6系列IP SAN存储系统,客户端使用FTP、CIFS、ISCSI target盘等各种网络协议,通过高速传输端口进行各类数据的上传、下载。对于重要数据,可以进行权限管理以及分级权限管理来保护,增加其数据的安全性。Wallstor网腾存储系统具有以下特性:
存储系统能够支持多种RAID算法,保证系统数据的安全可靠;支持CIFS,NFS,AFP,iSCSI,WebDAV等各种网络存储协议;针对文件系统、块设备、RAID算法以及网络协议栈做了多种优化,可达到超高的存储性能,在大规模监控应用领域可以满足几百路码流同时写入;无需复杂且耗时的安装过程,将硬件安装完成后,直接开机即可运行,通过浏览器进行配置和管理;内置专业备份软件,支持Windows,Linux文件备份,操作系统备份,各种数据库备份,可以为您提供整套的存储备份解决方案;内置文件系统检测和恢复工具,可以在文件系统损坏的情况下对文件系统进行最大程度的恢复。
备份方案设计:我们在备份方案的设计上为用户提供了完全备份、差异备份和增量备份三种备份方案。完全备份:备份全部选中的文件夹,并不依赖文件的存档属性来确定备份哪些文件。在备份过程中,任何现有的标记都被清除,每个文件都被标记为已备份。换言之,清除存档属性。差异备份:备份自上一次完全备份之后有变化的数据。差异备份过程中,只备份有标记的那些选中的文件和文件夹。它不清除标记,也即备份后不标记为已备份文件。换言之,不清除存档属性。增量备份:备份自上一次备份(包含完全备份、差异备份、增量备份)之后有变化的数据。增量备份过程中,只备份有标记的选中的文件和文件夹,它清除标记,既:备份后标记文件,换言之,清除存档属性。
5、总结
信息时代的核心无疑是信息技术,而信息技术的核心则在于信息的处理与存储。由于越来越多的信息变成了电子信息,特别是计算机网络应用的迅速增长更大大增加了对信息存储产品的需求量和对信息备份技术的安全性、可靠性的要求。因此,在镇江供电公司信息化建设的进程中如何实现有效的存储、交流、管理和备份数据无疑是决定公司信息化成败的关键。在网络存储备份技术日新月异的今天虽然新概念,新技术层出不穷,但是只有结合镇江供电公司自身的特点,找到最适合公司发展需求的技术途径才是根本。既不可以盲目跟风新技术,也不可以对数据增长带来的需求视而不见。
参考文献
[1]吴海涛.网络电气自动化发展[J].中国高新技术企业,2012,14:42-43.
[2]张丽萍.基于XML的多数据库系统集成数据模型[J].低压电器,2013,24(7):23-25.
随着社会的发展,科技水平的提高,网络技术应用于各个领域,同时网络结构也趋于复杂,从而影响着网络数据的安全与共享。网络数据存储备份系统要不断完善与发展,才能适应社会发展的需求。本文将通过对DAS、NAS与SAN技术的分析与研究,提出网络数据存储备份系统的解决方案。
一、DAS、NAS、SAN技术的概况
(一)DAS、NAS、SAN技术的涵义
DAS即直接附加存储或磁盘阵列,DAS将直接连接在服务器或客户端的数据存储设备上,它的中心为服务器,通过服务器或客户端实现存储,主要是由硬件组成的。NAS即网络附加存储,NAS具有特殊性与独立性等优势,它是一种专用的数据存储服务器,它具备独立的系统软件,从而保证存储的优化,同时其具有共享功能,能够提供跨平台的文件。NAS的中心为数据,通过存储设备和服务器的分离,实现了对数据的集中管理,进而利于宽带的高效释放。SAN即存储局域网,SAN是一种共用的、高速的专用存储网络,其存储设备主要分布在服务器的末端。SAN是一种专用的高速光纤网络,其光纤通道是由PRID陈列连接形成的,同时SAN的架构需要专用的光纤交换机与集线器[1]。
(二)DAS、NAS、SAN技术的比较
关于DAS与NAS技术的比较主要表现在以下几方面:在安装方面,DAS的安装相对复杂,一般情况下需要两天时间;NAS的安装相对便捷,通过独立安装,在十分钟左右便可以完成。在文件共享方面,DAS不具备跨平台文件共享的功能,因此,各个系统平台的文件存储需要分别进行;NAS具备跨平台文件共享的功能,因此可以实现文件共享。在操作系统方面,DAS不具备独立的存储操作系统,其应用依赖于服务器或客户端,因此,DAS极易造成网络的瘫痪与数据的丢失;NAS具备独立的存储操作系统,从而能够保证其宽带的释放,利于网络的正常运行。在存储数据结构方面,DAS的数据存储模式相对分散,因此,不利于网络管理人员的管理,同时也增加了维护的费用;NAS的数据存储模式相对集中,因此,其便于网络管理人员对数据的集中管理,其维护的成本也相对较少。关于NAS与SAN技术的比较主要体现在以下几方面:在设计理念方面,NAS拥有专用的数据存储设备,同时可以直接联网,是一项独立的系统存储平台;SAN需要存储在局域网,不具备独立的设备。在安装方面,NAS安装十分便捷,即插即用;SAN的安装需要在服务器或存储设备上添加光纤网卡。在文件共享方面,NAS具备跨平台文件共享的功能,因此可以实现文件共享;SAN具有独立的数据存储池,因此,不同系统平台的数据可以在同一存储设备中进行存储。在存储距离方面,NAS可以满足长距离、不同区域数据存储的需求;SAN的存储距离由光纤传输距离决定,因此,SAN可以进行短距离的数据存储。
二、网络数据存储备份系统的解决方案
网络数据存储备份系统采用NAS存储技术,其具有以下特点:网络快,其网络访问为双千兆以太网;容量大,其容量为4U高度和10颗热插拔的硬盘;实现了文件共享,并可以跨平台、跨主机;安全性,其具有权限安全管理功能,并能够对系统进行全天候的监控。
(一)NAS的系统存储
在E-mail存储方面,其系统存储完全能够满足万人用户的需求,NAS在E-mail存储中其容量可以达到200GB。在光盘数据下载方面,NAS的数据传递可以满足100个并发的需求。
(二)NAS的系统安装与维护
在硬件安装方面,NAS的系统安装可以保持原有网络不变,将其连接到网络的交换机上,在连接电源便实现了安装;在软件安装方面,NAS的系统安装可以在局域网的服务器上进行安装,在软件运行后,NAS将被自动搜索,再打开设置窗口,便可以对NAS进行设置。同时,NAS系统中可以安装防病毒的相关软件,进而保证其数据的安全性[2]。
(三)本方案的优点
本方案有众多的优点,主要优点如下:
应用了负载均衡技术,NAS根据并发量的不可控性,应用了负载均衡技术,从而数据的读取由负载均衡软件控制,并提升了并发访问的速度。
NAS自身的优势,如:安全性、便捷性与扩展性等,NAS可以即插即用,其安装十分便捷,其管理不需要专业的人员,在应用过程中,减轻了服务器的负荷,保证了网络的高效,其安全性与共享性能够保证数据的安全,即便网络存在故障。
具有较快的响应与较多的并发用户。NAS的独立性与优化性,主要体现在其系统存储平台的独立与存储操作系统的优化,从而NAS利用网络数据传输率的提升,利于用户响应时间的降低。在并发用户较多的情况下,NAS的性能愈加突显,它能够满足较多的并发用户的需求。
实现了跨平台的文件共享。NAS的跨平台文件共享,节约了用户的费用,可以对不同文件格式的资料进行存储,同时也可以在不同的系统上对数据进行访问。
同时具有便捷性与安全性。NAS在安装与维修方面十分便捷,不仅不需要辅助的软件,还不需要网络服务的停止,并且在安装时,不需要改变网络架构,进而利于用户投资与成本的控制。NAS可以保证数据的完整性与安全性,主要是将源数据变成了日志文件,从而利于文件系统的恢复[3]。
总结:综上所述,网络数据存储备份系统的完善直接关系着系统数据的安全,文中分析了DAS、NAS、SAN存储技术,其中NAS技术具有诸多的优势,因此,网络数据存储备份系统解决方案中运用了NAS技术,形成了跨平台的网络数据存储系统,这一方案具有实用性、可靠性与扩展性等,不仅控制了成本,还提高了网络的性能。
参考文献:
1 云计算与云储存
1.1 云计算
云计算可以在动态变化中,模拟出计算机的计算模式。其实,其中的“云”就是一种比喻方式,简单理解成一种抽象的概念,实际上就是计算机和互联网之间产生的作用。借助云计算,将大量的数据存储在计算机上,这个计算机指的不是本地计算机,而是远程服务器。企业可以将大量的信息资源转化成客观应用中。简而言之,就是计算机其实就是一个简单的操作介质,在使用数据过程中,不需要存储或者是计算,就可以直接将其传输到云端。
1.2 云存储
在云概念的基础上延伸出了一个新的概念那就是云存储,云存储与云概念十分相似,它以分布式文件系统以及网格技术作为基础,以集群应用借助应用软件把计算机中的各种存储设备进行有效的集中,让彼此能够协同合作。它的功能就是对外提供相关的数据存储以及业务访问。从本质上理解,它就相当于以往存储的模式而言,已经是被创新的系模式,并且将其存储在一个全新的存储设备里。但是,在使用云存储时,需要有专门的构架服务。
2 构建在云环境下的数据存储体系
2.1 服务器的结构
在云计算中最重要的组成部分是存储服务结构。在使用云存储体系之前,要构建出云存储服务构架,借助构架技术达到存储服务目的。一般而言,构架技术繁多。在NAS文件存储系统内,每个相连的节点都是一个独立的个体,文件在该系统中是以最小单位存在。如果文件比较多,就会被重新定义在另一个节点上,这样信息的使用就会方便。在实践过程中,人们发现NAS是一个节点,但是它可以访问文件,可以在不同的数据块内进行访问,可以根据客户需求及时解决一些问题。
2.2 服务器之间的数据传递
在当前存储系统环境中,一些存储系统可以实现数据之间的传送协议,一些被异构出来的平台也可以实现信息有效的传输,最终满足资源共享。在计算机庞大的系统内,数据高速优化和程序优化都是需要充分考虑的问题。在已经使用的数据库内,存储过程是必不可缺少的。它向人们提供更加高级的服务。例如:它可以传递逻辑表达方式或者传递函数,程序人员根据这些程序就可以完成处理。如果存储过程中,出现在本地服务器上,这个过程中就可以减少更多的执行环节,在实际操作过程中,执行命令和宽带传输之间的速度也会减少。从数据库系统数据显示,执行一个系统命令就会出现很多种结果,这些结果不能一次性的传输到客户端上。应对该问题,可以使用分页的方式处理。
3 关于企业的存储构建方案
3.1 商业化的云存储系统
一些数据领域已经发现且研究出商业化的存储产品,这些产品的出现主要是借助了云存储相关理论研究基础上得出的。一些很早就开展研究云存储研究的公司,已经拥有大量的自主产权云存储及时,而且还可以提出完整的构建方案。从某种层度上看,云存储的出现在相关协议中,可以实现数据存储以及数据提取的自由。用户可以获得需求,提升服务质量。在一些虚拟的主机之间,信息还可以实现相互传递,一些用户还可以获得专门的存储接口。一些公司在进行方案构建时,就已经充分考虑到在数据库分布式条件下,可以被本公司使用,还可以适用于云存储开发中,一些开发商也可以受益。
3.2 构建企业自身的数据中心
企业在发展中,数据安全性对于企业发展有重要影响。一般而言,在数据中都包含了大量的客户信息,这些信息一旦泄露将导致信誉问题出现。如果是选择云存储服务时,很多的客户资料信息都是在数据中心,这样数据库的安全成了问题。因此,一些大型的企业,他们会青睐于一些私有的云存储提供的服务。借助云数据存储设备,可以保障企业信息安全。如表1所示。
但是需要明确的是,借助存储设备也是需要大量的资金。因为一些私有的云存储服务设备,它主要的建立在云系统提供的存储设备以及冗余备份系统中,因此使用起来并不是很灵活。企业在进行选择存储方案时,可以选择混合的存储方案,这样就可以将相关联数据将其定位为首要存储的数据,将其转化到私云存储中。借助该方式可以保障数据传输效益,还可以最大限度的实现存储设备资源使用。
4 结束语
在云计算机环境下,数据的存储空间变大、变灵活,进而不断优化的网络系统结构。随着科技社会不断发展,云计算环境存储技术要不断创新,要有新的突破,才能顺应社会发展需求。
参考文献
[1]孙大为,常桂然,陈东,王兴伟.云计算环境中绿色服务级目标的分析、量化、建模及评价[J].计算机学报,2013(07).
[2]张尧学,周悦芝.一种云计算操作系统TransOS:基于透明计算的设计与实现[J].电子学报,2011(05).
智能化ISCSI解决方案 终极无忧
存储技术经历了直接连接存储(DAS)、整合的趋势(其整合趋势包括用NAS文件服务器合并)、SAN存储区域网三个过程。
光纤通道是最常用的SAN技术,FC(光纤通道)最初的发展是为解决并行SCSI磁盘阵列的边线问题,最终,业界在SAN应用上扩展了该项技术,FC在今天还提供了极好的共享存储的解决方案。然而, 尽管有这么多优点,实际部署的FC数目还是很少。为什么呢?
首先, 对于大多数组织来说, 部署和扩展一个FC SAN非常昂贵. 在一个光纤通道环境里, 适配器、交换机和将SAN连接到一起的光纤跳线都是非常昂贵的, 使那些大部分的主流市场力不能及。另外, FC SAN的部署和维护都是很复杂的, 需要一些特殊的IT专家,而DAS和NAS则不需要.由于FC SAN的复杂性, 需要一些昂贵的软件来简化和自动化一些操作, 特别是更大型的部署。
智能化的iSCSI解决方案,是基于下一代的存储设计,来处理企业和技术方面的问题。
因特网SCSI, 或者iSCSI, 将古老的SCSI块级协议与最广泛使用的以太网技术联合起来,形成了一个具有以太网的经济性、熟悉架构的高度灵活SAN技术,既有IETF标准的采纳, 又有微软和CISCO等国际IT供应商的支持, iSCSI很快就成为了一个可选择的成熟的SAN技术。
深圳电信提供的存储服务解决方案,是以经营管理数据为核心,为数据中心用户推出在线磁盘的存储服务,在线或离线磁盘备份和恢复服务(需定制),存储区域网SAN管理及容灾备份解决方案等,这些服务为客户提供了无忧的存储解决方案(参见上图)。
该方案采用基于ISCSI技术的IP SAN存储产品 BS3000系列存储阵列作为提供存储服务的设备。BS3000直接通过铜缆双绞线接入千兆以太网络,所有需要直接访问存储设备的主机直接通过IP存储区域网络来访问 BS3000存储阵列。存储区域网络采用私网IP地址以确保安全性。IDC机房以外的服务器需直接访问 BS3000存储阵列,则要通过直接专线与存储区域网络相联或通过VPN的方式与存储区域网络联接。
数据安全问题不再是可有可无
随着城市产业信息化的发展,企业及政府对IT系统的依赖程度越来越高,数据安全已成为人们备受关注的话题,由于缺乏足够的技术资源来维护自身的存储系统,自9.11灾难发生后,危机意识无一不成为企业思考的问题。
大型企业如金融服务公司由于数据敏感性和自身的实力,独立创建、运营自已的容灾备份中心实现业务持续性,只不过是吹灰的功夫。但对于那些掣肘于技术、资金的中小企业,既要资金拓展市场,又要为信息建设与存储投入大量的物力、财力,面对企业信息化问题―“爱也悠悠,恨也悠悠!”。
据我们对相关企业的走访了解,自建数据容灾中心意味着购买更多的主机、存储设备和相应的软件等,高昂的投资代价成为中小企业如鲠在喉的心病。随着存储技术的发展、虚拟化、IP存储以及更加丰富和强大的软件功能的应用,灾备中心的建设也不拘一格,出于性价比考虑,越来越多的企业或机构已开始采取将其数据备份业务外包给专业的存储服务商。
据深圳电信IDC中心技术部的专家介绍,当前企业的海量信息存储手段主要为以下两种方式:一是自建,二是租赁,极少数跨地区企业两者兼而有之。由于企业运营现实的压力,80%的企业都采取了后者,单独为企业提供数据存储服务的专业公司也就应运而生,即存储服务提供商SSP(Storage Service Provider)。如深圳电信推出的无忧备份存储服务,便是专业SSP的行业典范。
无忧存储 无忧服务
【深圳电信】是国内IDC行业领先的数据存储综合服务提供商之一,拥有华南地区最高等级电信级标准IDC专业机房共计五个,总面积达5000余平米,装机容量可达62000余台以上。
IDC中心机房的负责人告诉我们:深圳电信IDC拥有华南地区最高等级的专业机房,现以正式通过ISO27001标准认证,机房内部严格按照国家AA级机房标准提供配套服务及设施,整体抗震级别为8级,供电系统采用不间断电源供应及智能冗余备份UPS系统,确保稳定的系统运行。
严密的智能监控系统、冗余线路保证高速可靠的干线连接等雄厚的实力设施配备及安防资源为用户提供一个坚不可摧的存储安全环境。
专业的存储解决方案提供商―创新科存储技术有限公司,其存储方案在金融、电信、银行、证券、广电等行业有着广泛的应用,凭借其专业的技术研发和支持团队,可为用户提供一个全面的存储、备份解决方案。
与自建存储系统方案而言,深圳电信的无忧存储服务主要有以下四个方面的优势:
1)减少企业的存储投入成本,企业自建数据容灾中心从购买主机、存储硬软件设备到机房安全防卫系统的资源建设都要占据企业IT投入资本的40~50%,而采用直接租用深圳电信成熟的体系及管理维护,能为企业节省将近20~30%的经营成本。
中小企业购买需求增加
然而,IBM却在此时再度发力中低端市场,正式启动了将辐射40多个城市的2009 IBM企业信息架构全国巡展。IBM希望通过该巡展与其合作伙伴和客户共同探讨应对当前信息化挑战的一体化信息架构解决之道。与此同时,IBM利用其在IT领域的整体优势,为中小企业客户定制了六个中小型信息系统解决方案,以满足不同类型企业的新兴存储需要。
IBM此次巡展首要着力点就在中小企业市场。IBM系统与科技事业部大中华区系统存储部总经理侯淼介绍说,2009年上半年整体市场回暖,很多市场调查报告都显示中小企业客户购买需求增加。IT系统中日益增多的设备和飞速增长的非结构化数据都对中小企业的信息架构提出了全新的挑战。很多中小企业决定着手解决信息存储方面的诸多问题,而且他们不只希望获取单纯的存储技术,而是希望获得融汇了业务和IT洞察力的综合信息系统解决方案。
找准市场需求
对症下药
席卷全球的国际金融危机难免给各行各业带来影响,但是这并不代表市场需求减少,IT厂商关键是要找准市场需求,对症下药。IBM针对中小企业在此阶段对信息保留和信息高可用方面的典型需求,充分发挥自身在IT领域的整体技术优势,为中小企业客户提供了6款融合服务器、存储、软件等多种元素的特色解决方案,基于存储向客户交付独特的系统整合价值。
中型数据保护及备份方案:采用DS4000或DS5000作为核心数据存储,利用IBM带库和备份软件实现自动的数据保护,利用一站式方案解决数据存储建设中的在线数据和离线数据存储问题;
小型数据快速备份及恢复方案:利用Tivoli Storage Manager(TSM) FastBack,配合 DS3000/DS4700,确保主站点与灾难恢复站点之间的数据安全转移,可对任何类型数据损失进行即时恢复,并消除了备份窗口、手工备份/还原过程及远程办事处对磁带的使用,实现了灵活的扩展和统一的管理;
数据中心系统高可用解决方案:由Power和System x服务器与存储构成,采用服务器集群加双存储的高可靠结构;
高性能计算环境下的高性能存储:由x86集群、高性能I/O服务器、高性能SAN存储阵列与带库、TSM备份系统、并行文件系统及x86登录服务器构成,可确保优异的持续带宽、集中的SAN存储系统及统一的并行文件系统和数据管理策略;
存储系统整合解决方案:由DS4700/DS5000配以SVC(存储虚拟化)构成,凭借SVC的卓越性能,可实现高速的存储访问及强大的存储整合能力;
存储全系统融合方案:利用DS5000、N系列或Diligent重复数据删除软件及8Gb SAN交换机,成就高性能的存储系统,满足企业在容量、性能、稳定性和安全性要求的同时,确保未来的存储需求,并可交付全面的数据备份和灾备功能以及法规遵从能力。
此外,IBM力求从多方面帮助中小企业降低成本:首先,在初期购买价格上给予更多优惠,部分软件支持免费;其次,通过产品创新为企业节能省耗,如DS5000系列集成了灵活的主机接口、第二代XOR引擎、8Gbps光纤控制器,并可支持多种磁盘驱动器,成为目前中端市场最为灵活的存储系统。
360度渠道拓展