3.2 高端存储产品架构及关键技术要素简介

存储（即智能磁盘阵列）已经成为企业IT支撑系统越来越重要的一个分支。目前全球范围公认的主流存储解决方案供应商主要有EMC、NetApp、HDS、IBM、HP、华为等。随着技术的发展和市场的分化，除NetApp外，上述几个主流厂商都向市场提供两个系列的存储产品：即高端存储和中端存储两个系列，分别满足不同级别和不同规模的应用需求。而高端存储作为企业关键应用及综合数据存储平台，要集中地存储所有的技术要素。本节通过对典型高端存储产品的体系架构及关键技术要素分析，让读者对存储产品的关键技术及产品指标有个大概的理解。

表3-1是各主流厂商高端存储型号的详细列表。

体系结构分析

体系结构决定着产品的本质特性。一个产品只有拥有优秀、均衡的体系结构，这个产品才能拥有良好的可靠性和稳定性及高性能。

3.2.1.1 双控制器架构

双控制器架构的典型特征为前端控制器、Cache、后端控制器集成在一个控制器上，一个控制器硬件类似一个服务器单板，三个主要构件之间没有通过网络连接。IBM DS8000及多数厂家中端存储产品都是典型的双控制器架构。以DS8000系列产品为例，这种架构是中端存储系统采用的结构。因此有不少第三方分析师把DS8000定位为一个具有高端的可扩展性能力的中端存储产品，如图3-2所示。

资料来源：IBM DS8000 Redbook

如图3-2所示，DS8000实质上是由左右两边两台简装的IBM p570小型机作为控制器，共享内部总线（RIO-G loop）的这样一个双控制器共享总线结构。这个结构是典型的中端存储的结构，这样的架构从现在看来无论在可扩展性、单节点性能还是从系统的简洁性上看都需要做出较大的改变。

3.2.1.2 星型网络架构

星型网络体系架构以一个交换网络为核心，把主机控制器、硬盘控制器、Cache以及主控通过这个交换网连接起来，为了保证系统的可靠性，一般这个核心交换网络为双平面，这个交换网络的带宽、时延及交换机制决定了这个系统主要的性能；代表产品为HDS USP产品，作为高端存储，HDS USP拥有一个适合存储系统的、没有潜在瓶颈的、全光纤交换式的和点对点直连相混合的统一星型网络体系架构Universal Star Network（USN），如图3-3所示。

图中CHA为前端通道控制器，DKA为后端磁盘控制器，SMA是控制缓存，CMA是数据缓存，CSW是内部缓存交换机。

HDS USP产品及其前一代产品第一次把核心交换架构引入了高端存储产品（这之前以EMC Symmetrix为代表的高端存储都使用总线通信），从而让主机、磁盘与Cache的交换通道扩大了十倍以上，其架构的核心特性体现在以下两个方面：

● 数据缓存读写采用全光纤交换式CrossBar架构，解决了总线通信的通道瓶颈问题；

● 控制缓存与数据通道分离，并采用点对点直连技术，实现了控制通道与数据通道的相互无阻塞。

3.2.1.3 直连矩阵体系架构

直连矩阵体系架构整个系统为FULL MESH的全互联架构，有三个主要构件，即：主机控制器、硬盘控制器、以及Cache，三者之间采用点对点的全互联结构。为了保证系统的可靠性，一般这个全互联核心网络为双平面，这个点对点的连接带宽、时延及决定各连接通断状态的决策机制决定了这个系统主要的性能，EMC DMX-4就是这一架构的典型代表。DMX架构是EMC在2003年后为应对HDS推出交换式架构存储产品而在高端存储产品商做出的架构改良，通过主机接口卡、磁盘接口卡与Cache板的点对点直连来达到最大化系统内部带宽的目的。

图3-4就是DMX体系结构示意图。

从图3-4中可知，DMX结构中主要可描述如下。

● 前端8个各类通道控制器与8块Cache卡点对点直接相连，共64个连接通路。

● 8个后端磁盘控制器与8块Cache直接相连，共64个连接通道。

单纯从数据通道看，这样的架构确实带来了高并发，但两个因素决定了这样的架构的约束。

● 硬件的复杂性巨大提升：Cache板、主机接口卡、磁盘接口卡之间的连线相对交换式架构有近十倍的增加，造成系统的可靠性及可扩展性的问题。

● 为了保障多个接口卡访问同一个Cache板的冲突，系统在控制面设计了“Control and Communication Signals”去控制多块接口卡的并发访问，这严重限制了系统的并发性。

3.2.1.4 松耦合Scale-Out体系结构

交换式、直连矩阵式架构的特征是把整个存储系统的前端子系统、Cache及后端子系统先拆分，然后通过适当的互联技术互连起来，这样的体系架构在面对数据量增长迅猛而不确定的现代数据中心问题时在可扩展性及灵活性上存在着一定挑战。于是，结合了现代分布式思想的松耦合Scale-Out架构出现了。

（1）EMC VMAX体系结构

2009年，为解决以上DMX架构的问题，EMC推出了VMAX系列高端存储，这个系列产品在架构上对高端存储做出了相对传统三层（主机接口卡、Cache板、磁盘接口卡）分离架构较大的变革，把三层构建（主机接口卡、Cache板、磁盘接口卡）整合到单个物理节点上，并通过外置交换机来连接整合后的物理节点，形成了松耦合的Scale-Out架构，这样的架构出现的一个背景及前提是：x86 CPU的性能及可靠性已经开始超越了传统的嵌入式CPU（Powerpc、MIPS），从而以x86构成的类服务器物理节点在性价比上已经开始越来越快地超越以嵌入式CPU构成的节点。VMAX的推出标志着高端存储开始转向了现代意义的Scale-Out架构：以松耦合的架构充分利用了x86及开放交换技术的巨大性能优势，而存储厂家把更多的精力放在软件及服务上（见图3-5）。

（2）华为Smart Matrix体系结构

2012年，华为以后发优势，借鉴现代高端存储演进趋势，推出了更符合现代高端存储体系架构的Smart Matrix（见图3-6），以双控节点为一个引擎，引擎间通过双平面交换机以高速的PCIE总线连接，推出了OceanStor 18000系列高端存储，同时利用了单节点上x86 CPU带来的高性能以及高速交换总线的高带宽。