我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:双彩网 > 整体磁头 >

H3C 网络之路 第七期——存储专题1pdf

归档日期:06-06       文本归类:整体磁头      文章编辑:爱尚语录

  1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。

  网络之路 Route to Network 网络存储专辑 2008年第一季度 总第7期 网络存储基础知识 1 存储发展史/2 硬盘基础知识/8 RAID基础知识/16 contents SAN基础知识/29 NAS介绍/42 目录 SAN与NAS的比较/50 数据备份基础知识介绍/56 磁带库与虚拟磁带库介绍/63 网络存储扩展知识 69 数据分级存储/70 网络之路 文件系统概述/78 Route to Network Route to Network 数据库基础/88 H3C存储的典型特性 97 网络存储专辑 TimeMark、CDP特性介绍/98 复制特性介绍/102 NeoStor HA概述/106 DiskSafe/111 2008年第一季度 总第7期 2008年第一季度 H3C虚拟磁带库产品DL1000介绍/127 总第7期 测试方法 133 IOMETER与性能测试/134 IXIA iSCSI协议一致性测试工具介绍/141 典型应用方案 149 连续数据保护解决方案/150 H3C双机双阵列解决方案/159 虚拟磁带库解决方案/166 网络存储基础知识 网络存储基础知识 Basic Knowledge of Network Storage  网络之路 Route to Network 全球第一款磁盘存储系统IBM RAMAC 305(以下简称RAMAC) 与一块笔记本电脑磁盘(以下简称磁盘)奇妙邂逅后,引出了一段 有趣的对话: 磁盘:嘿!你看上去有些笨重。 RAMAC:是的,我有两个冰箱那么大,重约1吨。 磁盘:看我小巧玲珑,可以装进口袋随身携带。那你的容量 一定很大了? RAMAC:只有5MB,但可以存放一幅中等分辨率的达·芬 奇的名画《蒙娜丽莎的微笑》。 磁盘:别看我外表不起眼,容量却有40GB呢。你多大岁数 了? RAMAC:50了。 存储发展史 磁盘沉默了…… 对计算机产业来说,磁带、磁盘的出现可以和微处理器的发 文/上官应兰 明相提并论。没有存储的有力支撑,计算机就不可能具有今天这 样强大的计算能力,胜任如此多的应用。存储技术50年的创新史 几乎就是整个存储业发展的缩影,而这种创新的能量必将铸就下 一个50年的辉煌。 让我们一起坠入历史的长河中,一起来品味存储的发展简史 吧。 一、早期存储发展史 1725年,Basile Bouchon发明了打孔纸卡,用来保存印染 布上的图案,这可以算是最早的数据存储媒介了,一直用到了20 世纪70年代中期。下面是打孔纸卡的原型,这张卡片上能存储的 数据很少,事实上没有人会真的用它来存放数据,一般用来保存 不同计算机的设置参数。 图1 打空纸卡原型  网络存储基础知识 1952年,IBM最早把盘式磁带用在数据存储上。5月21日,IBM 发布了用于IBM 701 Defense Calculator的IBM 726磁带机,因为一卷磁带可以代替1万张打孔纸卡,于是它马上 获得了成功。 图2 盘式磁带 IBM 726磁带机的出现标志着数据存储从打孔计算器向电子计算机的转变,成为了存储发 展史的分水岭。因此,通常意义上的存储发展史从1952年算起。 1956年9月13日,当美国纽约市的市民们怀着无比兴奋的心情,期待着著名歌手“猫王” Elvis Presley在纽约百老汇的一次精彩表演时,在美国大陆的另一端,位于加利福尼亚州 San Jose的IBM实验室中,全球第一个磁盘驱动器诞生了。IBM推出的第一款商用磁盘存储系 统RAMAC 305(RAMAC,Random Access Method of Accounting and Control),有两个冰箱 那么宽,内部安装了50个直径两英尺的磁盘,重量约1吨,当时可以存储“惊人”的500万个 字符(5MB)。当时,搬运RAMAC 305也成了街上 一道独特的风景,需要几个工人,借助搭在卡车上 的踏板,才能顺利地把RAMAC 305这个庞然大物运 上车。 RAMAC的诞生是一件具有里程碑意义的事件, 不仅体现在它带来了更大的存储容量,以及更快的 随机存取特性,更在于由此引发的整个行业的变 革。RAMAC之后,随着一系列新技术不断涌现,更 大容量、更高性能、更具商业价值的存储产品让用 户的应用获得了更有力的支持。技术的发展提升了 应用的水平,反过来,应用的发展也带动了存储技 术向前迈进。 而RAMAC的诞生也带来了存储分工:磁盘用于 在线存储,而磁带用于离线  网络之路 Route to Network 二、现代存储发展史 序言:RAMAC的诞生为存储编年史划上了一记浓厚的重墨。这就向早期的奥林匹克和现 代奥林匹克的关系一样,RAMAC的出现意味着现代存储技术的主流-磁盘技术的起源。 现代存储发展史可以划分为两条主线:一条是磁盘技术,一条则是磁带技术。 磁盘技术发展史 在磁盘发展历程中,我们不得不提起IBM这个存储巨头。在整个磁盘技术更新的过程中, IBM是功不可没的,不仅因为世界上第一块磁盘就是由IBM发明并制造的,还因为几乎每一项 革命性的磁盘技术都与IBM有着千丝万缕的关系。 1956年9月,第一块磁盘IBM RAMAC 305诞生。 1968年,IBM公司又提出了“温彻斯特/Winchester”即所谓“温盘”技术,其精隋在 于:“密封、固定并高速旋转的镀磁盘片,磁头沿盘片径向移动,磁头悬浮在高速转动的盘 片上方,而不与盘片直接接触”,这也是现代绝大多数磁盘的原型。 1973年,IBM制造出了第一台采用“温彻斯特”技术的磁盘IBM 3340,成功实现技术到产 品的转换,实现磁盘制造的一大突破,奠定磁盘 技术的发展有了正确的结构基础。今天的磁盘容 量虽然高达上百GB,但仍没有脱离“温彻斯特” 技术的工作模式,因此IBM 3340可称为现代磁盘 之父。 1979年,IBM公司再次走在磁盘开发技术的 前列,发明了薄膜磁头(Thinfilm Head),为 进一步减小磁盘体积、增大容量、提高读写速度 提供了可能。同年,IBM的两位员工AlanShugart 和FinisConner离开IBM后组建了希捷公司,并开 图4 现代磁盘 发出5.25英寸规格的5MB磁盘。 1989年,IBM研发了MR(Magneto- Resistive Head)磁阻磁头技术,并在1991年将MR磁头技术运用到磁盘中,使得个人用户的 磁盘突破了1GB,从此磁盘容量也进入了GB数量级。 1993年,IBM研发了GMR(巨磁阻磁头技术),使磁头灵敏度进一步提升,进而提高了存储 密度,增大了存储容量。 1996年,昆腾与英特尔联合制定了Ultra DMA 33标准,这套标准将IDE的接口速度从 16MBps提升到33MBps。其后,基于UDMA33,又出现了UDMA66、UDMA100以及UDMA133。  网络存储基础知识 1999年,单碟容量高达10GB的ATA磁盘面世,Maxtor宣布了首块单碟容量高达10.2GB的 ATA磁盘,从而把磁盘的容量引入了一个新里程碑。 2002年,SATA(Serial ATA)也得到了普及,继希捷率先推出SATA接口的酷鱼V后,迈 拓、IBM、西部数据也纷纷推出同类产品。 2007年,日立发布了业界首款1TB磁盘,带领存储业正式步入TB时代。 磁带技术发展史 磁带的发展历史和轨迹则是由早期第一个磁带机的特性决定的。磁带顺序读写的特性导 致在存储介质上查找某个数据非常困难,往往需要数小时的时间;同时,数据存储往往需要 大量的人工手动操作(装载、卸载和归档)。因此,磁带技术也一直朝着简化使用、提升性 能、提高容量的方向发展,可以把磁带技术的发展历史简单划分为三个时期:  1952–1987年:人工手动操作磁带存储 1952年,IBM成功发布了计算机业内的第一款磁带机,拉开了磁带发展的序幕。这一时期 延续了35年,主要特征是圆轴磁带的使用,并且需要人工手动操作(装载、卸载和归档)。 在这一时期,IBM和StorageTek是整个磁带市场的领导厂商。 1984年,盒式磁带取代了圆轴磁带,从而为磁带工业的许多新的发展奠定了基础。  1987–2002年:自动带库创造“近线年,StorageTek自动磁带库的成功问世,标志着磁带的发展进入了第二个时期。之 前,离线磁带存储需要耗用大量的人工劳动;自动磁带库诞生以后,“近线”成为介于在线 磁盘存储和离线人工操作的磁带存储之间的新型存储形式的标准名称。自动存储服务消除了 以前手动磁带操作过程中容易引发的问题。  2002年–现在 在2002年,磁带技术经历了其50年发展历程中最引人注目的技术突破:磁带盒的容量在 这一年首次超过了最大的磁盘驱动器的容量,达到了1TB,其低廉的存储成本仍使磁带稳居数 据中心备份的第一把交椅。 磁带技术和磁盘技术的融合 现在,由于磁盘的存取速度快,加上在RAID保护之下,可靠度也相当高,企业用户不约 而同开始思考,利用磁盘取代部份磁带功能可能性,在需求的带动下,市场上吹起一股磁盘 备份的风潮,存储厂商纷纷推出各种基于磁盘的备份解决方案,虚拟磁带库(Virtual Tape Library,简称VTL)是其中之一。 虚拟磁带的技术原理并不复杂,说穿了就是运用存储虚拟软件,将备份服务器连接至 磁盘空间的SCSI讯号,仿真成磁带机的表述格式,“欺骗”操作系统和备份软件,误以为 连接到的是一部实体的磁带设备。早期虚拟磁带方案只能仿真单机,称为VTD(Virtual Tape Drive),随着技术逐渐成熟,已经能够“模仿”大型磁带库的多组磁带机、机械手臂 (Robotic)、磁带条形码(Barcode)、循环换带等完整功能。  网络之路 Route to Network 三、存储技术架构发展史 前面我们讲到的大多是一个一个独立的存储介质的发展史,实际上提到数据存储,除了 存储介质,另外一个不得不提的话题就是存储网络架构。随着时间的变迁,存储技术架构也 经历了一系列的发展。早期的存储形式是存储设备(通常是磁盘)与应用服务器其他硬件直 接安装于同一个机箱之内,并且该存储设备是给本台应用服务器独占使用的。 随着Internet的发展,数据成爆炸型增长,而现有网络环境却没有为它提供充分的发展 空间。网络系统每时每刻都在调用传输处于服务器后端磁盘阵列中的数据。在很多大的应用 系统中,磁盘I/O占用了服务器的大量时间,整个系统都处于对磁盘的等待状态,使整个系统 性能下降。磁盘成了服务器的包袱,制约整个网络的瓶颈。 针对I/O是整个网络系统效率低下的瓶颈问题,专家们提出:将数据从通用的应用服务器 中分离出来以简化存储管理。于是出现了将磁盘从服务器中脱离出来,集中到一起管理的需 求,如何将服务器和盘阵连接起来? 面对这样的问题,部分厂商提出了SCSI协议,通过专用的线缆将服务器的总线和存储 设备连接起来,通过专门的SCSI指令来实现数据的存储,后来发展到FC协议。这样,多个服 务器可以通过SCSI线缆或光纤建立与存储系统的连接,这样的方式,称之为DAS(Direct- Attached Storage,直接附加存储)。 DAS实现了机内存储到存 储子系统的跨越,安装方便、 成本较低,但是缺点依然有很 多,比如扩展性差、资源利用 率低、可管理性差、异构化严 重等。 而解决这个问题的另一 个思路就是:存储网络。把存 图5 直接附加存储 储真正从服务器中分离出来, 有两种不同的实现手段, 即NAS(Network Attached Storage,网络附加存储) 和SAN(Storage Aera Network,存储区域网络)。 NAS是一种文件共享服 务,拥有自己的文件系统, 通过NFS或CIFS对外提供文件 图6 网络附加存储  网络存储基础知识 访问服务。NAS包括存储器件(例如磁盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动 的存储介质)和专用服务器(装有专门的操作系统)。专用服务器利用NFS或CIFS,充当远程 文件服务器,对外提供文件级的访问。 SAN是一种通过网络方式连接存储设备和应用服务器的存储构架,当有数据的存取需求 时,数据可以通过存储区域网络在服务器和后台存储设备之间通过FC或者iSCSI协议高速传 输。 SAN的发展历程较短,从90年代后期兴起,由于当时以太网的带宽有限,而FC协议在当时 就可以支持1Gb的带宽,因此早期的SAN存储系统多数由FC存储设备构成,导致很多用户误以 为SAN就是光纤通道设备,其 实SAN代表的是一种专用于存 储的网络架构,与协议和设备 类型无关,随着千兆以太网的 普及和万兆以太网的实现, 人们对于SAN的理解将更为全 面。 SAN和NAS经常被视为两 图7 SAN Attached 种竞争技术,实际上,二者能 够很好地相互补充,以提供对 不同类型数据的访问。SAN针 对海量、面向数据块的数据传 输,而NAS则提供文件级的数 据访问和共享服务。 回顾存储发展的历史, 无论是存储技术还是存储架构 图8 iSCSI Attached 都变得越来越成熟,存储作为 独立的产业走上了前台。 随着SATA、SAS等低成本、高性能技术的出现,以及1TB容量的超大磁盘的推出,还有存 储介质的改变等,将进一步促进存储技术的发展。再过50年,磁盘系统会是什么样子?体积 更小?容量更大?更智能化?磁带又会往什么方向发展?是否会被磁盘设备取代? 关注存储,请从现在开始。  网络之路 Route to Network 硬盘基础知识 文/石岩 我们对硬盘的认识,大都是通过产品的外型、性能指标特征和网站公布的性能评测报告 等方面去了解,但是硬盘的内部结构究竟是怎么样的?硬盘的读写原理是什么?大多数人可 能不是很清楚了。本文通过介绍如下四点,以便大家对硬盘有更深的认识。  硬盘结构  硬盘工作原理  硬盘接口类型  硬盘性能指标 一、硬盘结构 硬盘的外部结构 硬盘有许多类型,不过在组成结构方面大同小异,从硬盘的外部结构看: 1. 接口 包括电源接口和数据接口两部份,其中电源接口与主机电源相连,为硬盘正常工作提供 电力保证。数据接口则是硬盘数据与主板控制芯片之间进行数据传输交换的通道,使用时是 用一根数据电缆将其与主板IDE接口或与其它控制适配器的接口相连接。经常听说的40针/80 芯的接口电缆也就是指数据电缆,数据接口主要分成IDE接口、SATA接口和SCSI接口、FC接口 等。 2. 控制电路板 大多采用贴片式元件焊接,包括主轴调速电路、磁头驱动与伺服定位电路、读写电路、 控制与接口电路等。在电路板上还有一块高效的单片机ROM芯片,其固化的软件可以进行硬盘 的初始化,执行加电和启动主轴电机,加电初始寻道、定位以及故障检测等。在电路板上还 安装有容量不等的高速缓存芯片。 3. 固定盖板 就是硬盘正面的面板,它与底板结合成一个密封的整体,保证了硬盘盘片和机构的稳定 运行。在面板上最显眼的莫过于产品标签,上面印着产品型号、产品序列号、产品、生产日  网络存储基础知识 期等信息。固定盖板和盘体侧面还设有安装孔,以方便安装。除此,还有一个透气孔,它的 作用就是使硬盘内部气压与大气气压保持一致。 在硬盘的正面都贴有硬盘的标签,标签上一般都标注有与硬盘相关的信息。在硬盘的一 端有电源接口插座、主从设置跳线器和数据线接口插座,而硬盘的背面则是控制电路板。在 下图中可以清楚地看出各部件的位置。 图1 硬盘各部件 硬盘的内部结构 硬盘内部结构由固定面板、控制电路板、磁头、盘片、主轴、电机、接口及其它附件 组成。其中磁头盘片组件是构成硬盘的核心,它封装在硬盘的净化腔体内,包括有浮动磁头 组件、磁头驱动机构、盘片、主轴驱动装置及前置读写控制电路等部分。如下图即可一目了 然: 图2 硬盘内部结构图  网络之路 Route to Network 1. 磁头组件 由读写磁头、传动手臂、传动轴三部分组成。磁头是硬盘技术最关键的一环, 是集成工艺制成的多个磁头的组合,它采用了非接触式头、盘结构。加电后在高速 旋转的磁盘表面飞行,飞高间隙只有0.1~0.3um,可以获得极高的数据传输率。现 在转速7200rpm的硬盘飞高都低于0.3um,以利于读取较大的高信噪比信号,提供数 据传输存储的可靠性。 2. 磁头驱动机构 硬盘的寻道是靠移动磁头,而移动磁头则需要该机构驱动才能实现。磁头驱动 机构由电磁线圈电机、磁头驱动小车、防震动装置构成。高精度的轻型磁头驱动机 构能够对磁头进行正确的驱动和定位,并能在很短的时间内精确定位系统指令指定 的磁道。其中电磁线圈电机包含着一块永久磁铁,这是磁头驱动机构对传动手臂起 作用的关键,磁铁的吸引力足以吸住并吊起拆硬盘使用的螺丝刀。防震动装置的作 用是当硬盘受强裂震动时,对磁头及盘片起到一定的保护作用,以避免磁头将盘片 刮伤等情况的发生。 3. 盘片和主轴组件 盘片是硬盘存储数据的载体,现在的盘片大都采用金属薄膜磁盘。这种金属薄 膜磁盘较之软磁盘的不连续颗粒载体具有更高的记录密度,同时还具有高剩磁和高 矫顽力的特点。主轴组件包括主轴部件如轴瓦和驱动电机等。随着硬盘容量的扩大 和速度的提高,主轴电机的速度也在不断提升,有厂商开始采用精密机械工业的液 态轴承电机技术。 4. 前置控制电路 前置电路控制磁头感应的信号,主轴电机调速,磁头驱动和伺服定位等。由于 磁头读取的信号微弱,将放大电路密封在腔体内可减少外来信号的干扰,提高操作 指令的准确性。 5. 硬盘的控制电路 硬盘的控制电路位于硬盘背面,将背面电路板的安装螺丝拧下,翻开控制电路 板即可见到控制电路。总得来说,硬盘控制电路可以分为如下几个部份:主控制芯 片、数据传输芯片、高速数据缓存芯片等。 二、硬盘的工作原理 简单来讲,硬盘的工作原理是利用特定的磁粒子的极性来记录数据。磁头在读 取数据时,将磁粒子的不同极性转换成不同的电信号,再利用数据转换器将这些原 始信号变成电脑可以使用的数据,写的操作正好与此相反。 0 网络存储基础知识 三、硬盘接口类型 ATA、SATA、SCSI、SAS、FC这五种硬盘是目前存储领域通用的五种硬盘。 1. ATA接口 ATA:Advanced Technology Attachment ,俗称IDE。它使用一个40芯电缆与主板进行 连接,采用并行总线的方式,最初的设计只能支持两个硬盘。ATA硬盘可靠性较低,一般只支 持5×8小时工作时间,要求工作负荷小,被广泛应用于个人电脑存储。ATA、PATA及IDE实际 上是同一种接口,只是在不同历史时期由不同的厂家产生的不同叫法。 图3 ATA接口示意图 2. SATA接口 图4 SATA接口示意图  网络之路 Route to Network Serial ATA:Serial Advanced Technology Attachment 也就是串行ATA(Serial ATA)。 SATA接口速率比IDE接口高,最低为150MBps,并且300MBps接口硬盘已经形成商用, 规划内的最高速率可达600MBps,而IDE硬盘目前最高速率为133MBps,远远低于SATA接口。 SATA硬盘采用点对点连接方式,支持热插拔。 SATA硬盘采用7针细线针扁平硬盘线作为传输数据的通道。细 线缆的优点在于它很细,因此弯曲起来非常容易,并且不占空间。 3. SCSI接口 SCSI:Small Computer System Interface,小型计算机系统接口。SCSI硬盘性能优异, 可靠性高,是传统的企业存储硬盘,应用于中高端存储领域。目前SCSI硬盘采用并行接口, 有68针及80针两种。接口速率发展到320MBps,基本已经达到极限,将来必被其串行版本SAS 硬盘所替代。SCSI硬盘转速为1万转或1万5千转,容量较小,最高可达300GB。SCSI硬盘采用 总线式连接,一条SCSI总线个设备,每个设备被分配一个ID,通过总线仲裁来获 得总线 SCSI接口示意图 4. SAS接口 SAS:Serial Attached SCSI,串行SCSI接口。 SAS硬盘是SCSI硬盘的串行版本,由原来的并行总线发展为串行总线。SAS是一种点对 点、全双工、双端口的接口,提供3.0Gbit/s的传输率,规划到12.0Gbit/s。支持在SATA兼容 的电缆和连接器上传输SCSI协议,兼备SCSI所具有的易管理性和可靠性,而且可以提升性能 和可伸缩性。 SAS硬盘定位于中高端存储应用,可靠性和性能都很高。SAS硬盘一般都提供两个SAS接 口,可同时使用或互为备份,适用于主流的服务器和企业存储。SAS的连接器,与SATA比较相 似,SAS连接器可以接SATA的硬盘,但SATA的连接器不能接SAS的硬盘。  网络存储基础知识 5. FC接口 光纤通道其实是对一组标准的称呼,这组标准用以定义通过铜缆或光缆进行串行通信从 而将网络上各节点相连接所采用的机制。光纤通道标准由美国国家标准协会。(American Na tional Standards Institute,ANSI)开发,为服务器与存储设备之间提供高速连接。光纤 通道是一种跟SCSI或IDE有很大不同的接口,是一种可以提高多硬盘存储系统的速度和灵活性 而设计的高性能接口。FC硬盘定位于高端存储应用,可靠性和性能高。 图6 FC接口示意图 四、硬盘性能指标 影响硬盘速度的技术指标很多,如转速、磁头形式、数据传输率、寻道时间、缓冲区容 量等,下面讲述一下性能指标的具体意义。 1. 硬盘的转速(Rotational Speed) 硬盘盘片每分钟转动的圈数。 硬盘的转速理论上越快越好。因为较高的转速可直接缩短硬盘平均潜伏时间和实际读写 时间。硬盘的速度由很多因素决定,转速仅仅是提高速度的一个方面,所以转速快的性能不 一定比慢的要好很多。硬盘的主轴转速是决定硬盘内部数据传输率的决定因素之一,它在很 大程度上决定了硬盘的速度,同时也是区别硬盘档次的重要标志。  网络之路 Route to Network 2. 平均访问时间(Average Access Time)与平均寻道时间(Average Seek Time)、平均潜伏时间(Average Latency Time) 平均寻道时间是指硬盘在盘面上移动磁头至指定磁道所需要的平均时 间。描述硬盘读取数据的能力,以毫秒为单位,一般在7ms-14ms之间。当 单碟片容量增大时,磁头的寻道动作和移动距离减少,从而使平均寻道时间 减少,加快硬盘速度。 平均潜伏时间是指磁头从到达目标磁道到数据开始传输的时间。 平均访问时间是平均寻道时间与平均潜伏时间的总和。平均访问时间最 能够代表硬盘找到某一数据所用的时间,越短的平均访问时间越好。 当硬 盘找到某数据后,要求迅速将数据内容传送至CPU进行处理,用数据传输率 (Data Transfer Rate)来描述此过程的快慢,单位为MB/s(兆字节每秒),也 被称为吞吐率(Throughput Rate)。 3.数据传输率分为外部传输率(External Transfer Rate)和内部传 输率(Internal Transfer Rate) 计算机通过接口将数据交给硬盘的速度与硬盘将数据记录在盘片上的 速度相比,前者比后者要快好多。前者是外部数据传输率,后者是内部数据 传输率,两者之间有一块缓冲区以缓解速度差距。通常我们称突发数据传 输率 (Burst Data Transfer Rate) 为外部传输率,指从硬盘缓冲区读取数 据的速度。内部传输率,也称最大或最小持续传输率 (Sustained Transfer Rate),是指硬盘将数据记录在盘片上的速度,反映硬盘缓冲区未用时的性能。 目前的主流硬盘在容量、平均访问时间、转速、价格等都差不多,然而在内 部传输率上的差别比较大,因而内部数据传输率成为硬盘的一个“硬”指标。 目前,各硬盘生产厂家努力提高硬盘性能,除了改进信号处理技术、提 高转速,最主要的就是提高位密度。由于单碟容量越大的硬盘位密度越高, 磁头的寻道动作和移动距离减少,从而使平均寻道时间减少,内部传输速率 也就越大,从而加快硬盘速度。所以建议留意硬盘的单碟片容量,容量大的 优先考虑。  网络存储基础知识 4. 缓冲区 硬盘内部存储和外界接口之间的缓冲器,该指标指在硬盘内部的高速存储 器。 高速缓存是硬盘控制器上的一块存取速度很快的内存DRAM,分为写通式 和回写式。写通式指读硬盘时系统先检查请求,寻找所要求的数据是否在高速 缓存中。如果在,则称为命中,缓存就送出相应的数据,不必再向磁盘访问数 据,从而明显改善性能。但是写通式只读数据。现在多数硬盘使用可读/写数 据的回写式高速缓存,它比写通式高速缓存更能提高性能。它在内存中保留写 数据,当硬盘空闲时再写入。随着硬盘的容量的增大,高速缓存就显得相当重 要。 5. 平均故障间隔时间(MTBF) 产品的故障总数与寿命单位总数之比叫“故障率”(Failure Rate), 常用λ表示。例如正在运行中的100个硬盘,一年之内出了2次故障,则每个硬 盘的故障率为0.02次/年。当产品的寿命服从指数分布时,其故障率的倒数就 叫做平均故障间隔时间(Mean Time Between Failures),简称MTBF。即: MTBF=1/λ,单位为“小时”。MTBF是衡量一个产品(尤其是电器产品)的可 靠性指标,仅适用于可维修产品。 6. S.M.A.R.T 该指标的英文全称是Self-Monitoring Analysis&Reporting Technology,中文含义是自动监测分析报告技术。这项技术使主机系统能够随 时检测和分析硬盘的工作状态,提前预测硬盘的故障。  网络之路 Route to Network RAID 基础知识 文/龚锦龙 一、�������������� RAID技术是由美国加州大学伯克利分校D.A. Patterson教授在1988年提出的,作为高性 能、高可靠的存储技术,在今天已经得到了广泛的应用。 RAID 是Redundant Array of Inexpensive Disks(中文直译为廉价磁盘冗余阵列) 的缩写,是将一系列单独的磁盘以不同的方式组合起来,为一个应用主机或主机集群提供一 个逻辑上的磁盘。使用RAID的好处是能够扩大磁盘容量、提高磁盘读取的性能和数据的安全 性。 二、�������� ������ RAID技术经过不断的发展,现在已拥有了从 RAID 0 到 RAID5的 6种明确标准级别的 RAID级别。另外,其他还有RAID6、RAID7、RAID10(RAID 1与RAID 0的组合)、RAID01 (RAID 0与RAID 1的组合)、RAID30(RAID 3与RAID 0的组合)、RAID50(RAID 5与RAID 0 的组合)等。 不同RAID 级别代表着不同的存储性能、数据安全性和存储成本,下面将介绍如下RAID级 别:RAID0、RAID1、RAID2、RAID3、RAID4、RAID5、RAID6、RAID01、RAID10。 RAID 0 RAID0 全称叫做Striped Disk Array without Fault Tolerance(没有容错设计的条带 RAID O的特点 磁盘阵列)。 从图中可以看出,RAID0 在存储数据时由RAID 控制器(硬件或软件)分割成大小相同 的数据条,同时写入阵列中的磁盘。如果发挥一下想象力,你会觉得数据像一条带子横跨过 所有的阵列磁盘,每个磁盘上的条带深度则是一样的。至于每个条带的深度则要看所采用的 RAID O的特点  网络存储基础知识 RAID 类型,在NT 系统的软RAID0 等级中,每个条带深度只有64KB 一种选项,而在硬RAID0 等级,可以提供8、16、32、64以及128KB 等多种深度参数。Striped 是RAID 的一种典型方 式,在很多RAID术语解释中,都把Striped 指向RAID0。在读取时,也是顺序从阵列磁盘中读 取后再由RAID控制器进行组合再传送给系统,这也是RAID 的一个最重要的特点。 D1D2D3D4D5D6D7D8D9D10D11D12 D1 D2 D3 D4 D5 D6 D7 D8 D9 D10 D11 D12 图1 RAID 0的结构 这样,数据就等于并行的写入和读取,从而非常有助于提高存储系统的性能。对于两个 硬盘的RAID0 系统,提高一倍的读写性能可能有些夸张,毕竟也要考虑到同时增加的数据分 割与组合等与RAID相关的操作处理时间,但比单个硬盘提高80%的性能是完全可以的。 不过,RAID0 还不能算是真正的RAID,因为它没有数据冗余能力。由于没有备份或校验 恢复设计,在RAID0 阵列中任何一个硬盘损坏就可导致整个阵列数据的损坏,因为数据都是 分布存储的。下面总结一下RAID0的特点: 图2 RAID 0的特点  网络之路 Route to Network RAID 1 RAID1全称叫Mirroring and Duplexing(相互镜像)。 RAID1以镜像作为冗余手段,虚拟磁盘中的数据有多个拷贝,放在成员磁盘上。如图。 D1D2D3D4 D1 D1 D2 = D2 D3 D3 D4 D4 图3 RAID 1的结构 RAID1 在写入数据时,RAID 控制器并不是将数据分成条带而是将数据同时写入两个硬 盘。这样,其中任何一个硬盘的数据出现问题,可以马上从另一个硬盘中进行恢复。注意, 这两个硬盘并不是主从关系,而是相互镜像/恢复的。 RAID1 已经可以算是一种真正的RAID 系统,它提供了强有力的数据容错能力,但这是由 一个硬盘的闲置的代价所带来的效果,而这个硬盘并不能增加整个阵列的有效容量。下面总 结一下RAID 1 的特点: 图4 RAID 1的特点  网络存储基础知识 RAID 2 RAID2 全称叫Hamming Code ECC(汉明码错误检测与修正)。 RAID2 是早期为了能进行即时的数据校验而研制的一种技术(这在当时的RAID 0、1等 级中是无法做到的),针对了当时对数据即时安全性非常敏感的领域,如服务器、金融服 务等。RAID 2是RAID系统中最为复杂的等级之一。因为它采用了早期的错误检测与修正技 术——汉明码(Hamming Code)校验技术。阵列中序号为2N的磁盘(第1、2、4、8……)作 为校验盘,其余的磁盘用于存放数据,磁盘数目越多,校验盘所占比率越少。RAID2在大数据 存储额情况下性能很高,但由于花费太大,成本昂贵,目前已基本不再使用,转而以更高级 的即时检验RAID 所代替,如RAID3、RAID5 等。 RAID 3 RAID3 全称叫Parallel transfer with parity(并行传输及校验)。 RAID2 等级的缺点相信大家已经很明白了,虽然能进行即时的ECC,但成本极为昂贵。为 此,一种更为先进的即时ECC 的RAID 等级诞生,这就是RAID3。 RAID3 是在RAID2 基础上发展而来的,主要的变化是 用相对简单的异或逻辑运算(XOR,eXclusive OR)校验代 替了相对复杂的汉明码校验,从而也大幅降低了成本。XOR 的校验原理如右图。 这里的A 与B 值就代表了两个位,从中可以发现,A 与B 一样时,XOR 结果为0,A与B 不一样时,XOR 结果就 是1,而且知道XOR 结果和A 与B 中的任何一个数值,就可 以反推出另一个数值。比如A 为1,XOR 结果为1,那么B 肯定为0,如果XOR 结果为0,那么B 肯定为1。这就是XOR 编码与校验的基本原理。 图5 XOR的校验原理 从图中可以发现,校验盘只有一个,而数据与RAID 0 一样是分成条带(Stripe)存入数据阵列中,只不过RAID3 将大的数据块(D1)分成更小的数据条块(D11,D12,D13,…)存入。在数据存入时,按数据 阵列中处于同一等级的条带的XOR 校验编码被即时写在校验盘相应的位置,所以彼此不会干 扰混乱。读取时,则在调出条带的同时检查校验盘中相应的XOR 编码,进行即时的ECC。由于 在读写时与RAID 0 很相似,所以RAID 3 具有很高的数据传输效率。 RAID3 在RAID2 的基础上成功地进行结构与运算的简化,曾受到广泛的欢迎,并大量应 用。直到更为先进高效的RAID 5出现后,RAID 3 才开始慢慢退出市场。下面总结一下RAID 3 的特点:  网络之路 Route to Network D1 D2 D3 D11 D12 D13 P1 D21 D22 D23 P2 D31 D32 D33 P3 校验盘 图6 RAID 3的结构 图7 RAID 3的特点 注:主轴同步是指阵列中所有硬盘的主轴马达同步 RAID 4 RAID 4全称叫Independent Data disks with shared Parity disk(独立的数据硬盘与 共享的校验硬盘)。 0 网络存储基础知识 RAID 3 英文定义是Parallel transfer with parity,即并行传输及校验。与之相比, RAID 4则是一种相对独立的形式,这也是它与RAID 3 的最大不同。 与RAID 3 相比,存储工程师发现关键之处是把条带改成了“块”。即RAID 4 是按数据块 为单位存储的,那么数据块应该怎么理解呢?简单的说,一个数据块是一个完整的数据集合, 比如一个文件就是一个典型的数据块。RAID 4 这样按块存储可以保证块的完整,不受因分条带 存储在其他硬盘上而可能产生的不利影响(比如当其他多个硬盘损坏时,数据就完了)。 D1D2D3D4D5D6D7D8D9 D1 D2 D3 P1 D4 D5 D6 P2 D7 D8 D9 P3 校验盘 图8 RAID 4的结构 不过,在不同硬盘上的同级数据块也都通过XOR 进行校验,结果保存在单独的校验盘。所 谓同级的概念就是指在每个硬盘中同一柱面同一扇区位置的数据算是同级。在写入时,RAID 就 是按这个方法把各硬盘上同级数据的校验统一写入校验盘,等读取时再即时进行校验。因此即 使是当前硬盘上的数据块损坏,也可以通过XOR 校验值和其他硬盘上的同级数据进行恢复。由 于RAID 4 在写入时要等一个硬盘写完后才能写下一个,并且还要写入校验数据所以写入效率比 较差,读取时也是一个硬盘、一个硬盘的读,但校验迅速,所以相对速度更快。总之,RAID 4 并不为速度而设计。下面总结一下RAID 4的特点: 图9 RAID 4的特点  网络之路 Route to Network RAID 5 RAID5与RAID3的机制相似,但是数据校验的信息被均匀的分散到的阵列的各个磁盘上, 这样就不存在并发写操作时的校验盘性能瓶颈。阵列的磁盘上既有数据,也有数据校验信 息,数据块和对应的校验信息会存储于不同的磁盘上,当一个数据盘损坏时,系统可以根据 同一带区的其他数据块和对应的校验信息来重构损坏的数据。 D1D2D3D4D5D6D7D8D9D10D11D12 D1 D2 D3 P1 D4 D5 P2 D6 D7 P3 D8 D9 P4 D10 D11 D12 图10 RAID 5的结构 RAID 5可以理解为是RAID 0和RAID 1的折衷方案。RAID 5可以为系统提供数据安全保 障,但保障程度要比RAID1低而磁盘空间利用率要比RAID1高。RAID 5具有和RAID 0相近似的 数据读取速度,只是多了一个奇偶校验信息,写入数据的速度比对单个磁盘进行写入操作稍 慢。同时由于多个数据对应一个奇偶校验信息,RAID 5的磁盘空间利用率要比RAID 1高,存 储成本相对较低。 RAID5在数据盘损坏时的情况和RAID3相似,由于需要重构数据,性能会受到影响。 下面总结一下RAID 5的特点: 图11 RAID 5的特点  网络存储基础知识 RAID 6 RAID 6提供两级冗余,即阵列中的两个驱动器失败时,阵列仍然能够继续工作。 一般而言,RAID 6的实现代价最高,因为RAID 6不仅要支持数据的恢复,又要支持校验 的恢复,这使RAID 6控制器比其他级R A I D更复杂和更昂贵。 1. RAID 6的校验数据 当对每个数据块执行写操作时, RAID 6做两个独立的校验计算,因此,它能够支持两个 磁盘的失败。为了实现这个思想,目前基本上有两个已经接受的方法: • 使用多种算法,如X O R和某种其他的函数。 • 在不同的数据分条或者磁盘上,使用矩阵排列的数据。 2. RAID 6的一维冗余 RAID 6的第一种方法是用两种不同的方法计算校验数据。实现这个思想最容易的方法之 一是用两个校验磁盘支持数据磁盘,第一个校验磁盘支持一种校验算法,而第二个磁盘支持 另一种校验算法,使用两种算法称为P + Q校验。一维冗余是指使用另一个校验磁盘,但所包 含的分块数据是相同的。例如,P校验值可能由X O R函数产生,这样,Q校验函数需要是其他 的某种操作,一个很有力的侯选者是Reed Solomon误差修正编码的变体,这个误差修正编码 一般用于磁盘和磁带驱动器。假如两个磁盘失败,那么,通过求解带有两个变量的方程,可 以恢复两个磁盘上的数据,这是一个代数方法,可以由硬件辅助处理器加速求解。 3. RAID 6的二维冗余 二维冗余基于这样一个概念:阵列可以逻辑地以矩阵的行和列安排。因此,数据的排列 以行和列来表示,校验数据可作为阵列空间的正交矢量来计算。为了实现这个方法,每一个 数据分块都属于两个正交(分离和独立)的分条,不存在将阵列中任何其他分条写入相同校 验位置的可能性。这种方法可简单地看作M×N的矩阵,M个校验磁盘需要N个校验计算, N个 校验磁盘需要M个校验计算。这种安排需要校验磁盘的总数为M + N。当行和列数相等且阵列 的大小增加时,这种类型的阵列的校验开销将减小。例如,一个3×3的9个磁盘的阵列有6个 校验磁盘,校验开销占66%。然而,当阵列包含100个磁盘,按10×10配置时,需要20个校验 磁盘,校验开销占20%。 二维方法的优点之一是可以利用同样的算法计算校验数据,这大大简化了用于简约功能 操作的数学例程,如数据和校验的恢复。它既可以使用阵列管理软件中的单个程序,也可以 使用同样的硬件辅助实现。 RAID 01 RAID01是RAID0和RAID1的结合,但它是对条带化后的数据进行镜像。与RAID10 不同, 一个磁盘的丢失等同于整个镜像条带的丢失,所以一旦镜像盘失败,则存储系统成为一个 RAID-0 系统(即只有条带化)。RAID01的实际应用非常少。  网络之路 Route to Network D1D2D3D4D5D6D7D8 D 1 D2 D3 D4 D5 D6 D7 D8 D 1 D2 D3 D4 D5 D6 D7 D8 图12 RAID 01的结构 RAID 10 RAID10也是RAID1和RAID0的结合,也称为RAID(0+1),条带化后为每一个条带提供镜 像,既提高了系统的读写性能,有提供了数据冗余保护,RAID10的磁盘空间利用率和RAID1是 一样的,为50%。RAID10适用于既有大量的数据需要存储,有对数据安全性有严格要求的领 域,比如金融,证券等。 D1D2D3D4D5D6D7D8 D1 D2 D3 D4 D5 D6 D7 D8 D1 D2 D3 D4 D5 D6 D7 D8 图13 RAID 10的结构  网络存储基础知识 下面总结一下RAID 10的特点: 图14 RAID 10的特点 RAID 50 RAID50是RAID5和RAID0的结合,RAID50 数据分布按照如下方式来组织: 首先将分为N 组磁盘,然后将每组磁盘做RAID5,最后将N组RAID5条带化。 D1D2D3D4D5D6D7D8D9D10D11D12 D1 D2 P11 D3 D4 P12 D5 P21 D6 D7 P22 D8 P31 D9 D10 P32 D11 D12 图15 RAID 50的结构  网络之路 Route to Network 下面总结一下RAID 50 的特点: 图16 RAID 50的特点 三、�������������������� 在各个RAID级别中,使用最广泛的是RAID0,RAID1,RAID5,RAID10,如下是从容量、 冗余性以及性能方面对这几种典型RAID类型进行比较。 RAID-0,将数据分成条带顺序写入一组磁盘中。RAID-0 不提供冗余功能,但是它却提供 了卓越的吞吐性能,因为读写数据是在一组磁盘中的每个磁盘上同时处理的,吞吐性能远远 超过单个磁盘的读写。 RAID-1,每次写操作都将分别写两份到数据盘和校验盘上,每对数据盘和校验盘成为镜 像磁盘组。也可使用并发的方式来读数据时,提高吞吐性能。如果镜像磁盘组中某个磁盘出 错,则数据可以从另外一块磁盘获得,而不会影响系统的性能,然后,使用一块备用磁盘将 健康磁盘中的数据复制出来然后这两块磁盘又组成新的镜像组。 RAID1/0,即RAID1 与RAID0 的结合,既做镜像又做条带化,数据先镜像再做条带化。这 样数据存储既保证了可靠性,又极大地提高了吞吐性能。 RAID-5 是将数据校验循环分散到各个磁盘中,它像RAID-0 一样将数据条带化分散写 到一组磁盘中,但同时它生成校验数据作为冗余和容错使用。校验磁盘包含了所有条带 的数据的校验信息。RAID-5 将校验信息轮流地写入条带磁盘组的各个磁盘中,即每个磁盘上 既有数据信息又同时有校验信息,RAID-5 的性能得益于数据的条带化,但是某个磁盘的失败 却将引起整个系统的下降,这是因为系统将在承担读写任务的同时,重新构建和计算出失败  网络存储基础知识 磁盘上的数据,此时要使用备用磁盘对失败磁盘的数据重建恢复整个 系统的健康。 从一个普通应用来讲,要求存储系统具有良好的IO性能同时也要 求对数据安全做好保护工作,所以RAID10和RAID5应该成为我们重点关 注的对象。 下面从IO性能,数据重构及对系统性能的影响,数据安全保护等 方面,结合磁盘现状来分析这两者的差异。 IO的性能 读操作上RAID10和RAID5是相当的,RAID-5 在一些很小数据的写 操作(如比每个条带还小的小数据)需要2个读、2个写,还有2个XOR 操作,对于单个用户的写操作,在新数据应用之前必须将老的数据从 校验盘中移除,整个的执行过程是这样:读出旧数据,旧数据与新数 据做XOR,并创建一个即时的值,读出旧数据的校验信息,将即时值与 校验数据进行XOR,最后写下新的校验信息。为了减少对系统的影响, 大多数的RAID5 都读出并将整个条带(包括校验条带)写入缓存,执 行2个XOR 操作,然后发出并行写操作(通常对整个条带),即便了进 行了上述优化,系统仍然需要为这种写操作进行额外的读和XOR操作。 小量写操作困难使得RAID-5 技术很少应用于密集写操作的场合,如回 滚字段及重做日志。当然,也可以将存储系统的条带大小定义为经常 读写动作的数据大小,使之匹配,但这样会限制系统的灵活性,也不 适用于企业中其它的应用。 对于RAID10,由于不存在数据校验,每次写操作只是单纯的执行 写操作。因此在写性能上RAID10要好于RAID5。 数据重构 对于RAID10,当一块磁盘失效时,进行数据重构的操作只是复 制一个新磁盘,如果假定磁盘的容量为250G,那么复制的数据量为 250G。 对于RAID5的存储阵列,则需要从每块磁盘中读取数据,经过重新 计算得到一块硬盘的数据量,如果RAID5是以4+1的方式组建,每块磁 盘的容量也为250G,那么,需要在剩余的4个磁盘中读出总共是1000G 的数据量计算得出250G的数据。 从这点来看,RAID5在数据重构上的工作负荷和花费的时间应该远 大于RAID10,负荷变大将影响重构期间的性能,时间长意味再次出现 数据损坏的可能性变大。  网络之路 Route to Network 数据安全保护 RAID10系统在已有一块磁盘失效的情况下,只有出现该失效磁盘的对应镜像盘也失效, 才会导致数据丢失。其他的磁盘失效不会出现数据丢失情况。 RAID5系统在已有一块磁盘失效的情况下,只要再出现任意的一块磁盘失效,都将导致数 据丢失。 从综合来看,RAID10和RAID5系统在出现一块磁盘失效后,进行数据重构时,RAID5需耗 费的时间要比RAID10长,同时重构期间系统负荷上RAID5要比RAID10高,同时RAID5出现数据 丢失的可能性要比RAID10高,因此,数据重构期间,RAID5系统的可靠性远比RAID10来的低。 RAID5在磁盘空间率用率上比RAID10高,RAID5的空间利用率是(N-1)/ N (N为阵列 的磁盘数目),而RAID10的磁盘空间利用率仅为50%。 但是结合磁盘来考虑,今天的硬盘厂商所生产的ATA或SATA硬盘的质量已经可以承担企 业级的应用,并且,容量的增加幅度相当大,目前已经可以实现单个磁盘400G的存储容量。 SCSI硬盘由于要求高转速而使用小直径盘片,容量的增加相对缓慢。ATA磁盘相对SCSI磁盘拥 有成本也要小很多。 应此,在采用价格昂贵的FC或SCSI硬盘的存储系统中,对于预算有限同时数据安全性 要求不高的场合可以采用RAID5方式来折中;其他应用中采用大容量的ATA或SATA硬盘结合 RAID10,既降低了RAID10的为获得一定的存储空间必须采用双倍磁盘空间的拥有成本,又避 免了RAID5相对RAID10的各种缺点。 顺序读写性能 随机读写性能 RAID级别级别 有效容量 读 写 读 写 磁盘 n 6 6 4 4 RAID0 n 10 10 10 10 RAID 1 n/2 7 5 6 3 RAID 5 n-1 7 7 7 4 RAID 10 n/2 10 9 7 6 几点说明: 1. n表示阵列中磁盘的数量 2.读写性能的数字10表示最好,1表示最差。仅对同一列的数字进行对比才有意义。  网络存储基础知识

本文链接:http://hellohailey.com/zhengticitou/49.html