GPFS（谈谈Xyrate和希捷）

Hardy 架构师技术联盟

GPFS（谈谈Xyrate和希捷）

DSSD出师未捷身先死，一个架构新颖、设计高端、性能牛掰、时延空前的产品已经离我们而去，只因时代发展太慢，产品生不逢时，乱世出英雄，乱世也可以埋没英雄。话说DSSD技术还在，是呀，一个宣传如此之久、耗资数以十几亿计产品曾在存储路上走过，那肯定要留点什么下来，否则岂不就如同打个水漂，不留下一点涟漪吗。

希捷不仅是传统磁盘的龙头老大，而是在HPC解决方案及场景也举足轻重，这主要得益于收购活跃在HPC行业的佼佼者Xyrate，从而获得ClusterStor产品和方案。

ClusterStor紧密集成Lustre或GPFS到性能和容量优化解决方案，非常适合 HPC、大数据和分析。ClusterStor存储分了以下4中，L系列、G系列、A系列和SL系列。L系列集成Lustre软件，G系列集成GPFS (IBM Spectrum Scale)并行文件系统，ClusterStor A200 是专为 HPC 设计的主动归档对象存储. ClusterStor SL200 支持多 PB 存储容量，是业内首款兼容 ICD 503 并满足多级别安全Certified Multilevel Security (MLS) 要求的产品。

RealStor 12G AFA 4005/5005是全闪存配置, RealStor hybrid 4005是混合存储。

此外，希捷还提供了OneStor SP-2584存储框，类似JBOD，可以直接扩容ClusterStor。中低端产品主要是收购Dothill的AssuredSAN产品。

ClusterStor L300N是最新产品，支持1.6TB/s带宽性能，ClusterStor L300N提供无与伦比的带宽和IOPS性能，并与Lustre file system集成，希捷存储机柜采用高可用性功能设计，元数据和管理服务器由希捷ClusterStor 管理软件堆栈管理消除了单点故障。

ClusterStor Nytro Intelligent I/O Manager提供性能加速，并对IO负载进行监控，针对小块IO，未对齐的I/O或读取修改写入IO进行优化。

ClusterStor产品系列构建于希捷成熟的OneStor磁盘框之上，通过一组通用的SAS兼容的桥接器和Intel服务器模块相连；今天我们也主要讨论下ClusterStor产品。

ClusterStor产品架构

ClusterStor管理单元（CMU）包括：4个x86英特尔服务器，通过SAS连接OneStor SP-2224或OneStor SP-2584。CMU服务器机箱是2个机架单位的4节点Intel服务器。该服务器提供三种服务：ClusterStor Manager（CSM），Lustre MetaData服务器（MDS）和Luster管理服务器（MGS）。

CMU承担MDS/MDT/MGS/管理软件的功能，是文件系统集群的中央管理点。CMU硬件上包括一对服务器、集成RAID、共享磁盘。CMU是完全冗余的，能够自动进行故障恢复。

ClusterStorTM Manager（CSM）是一个基于CLI和Web的GUI工具，提供统一的系统管理视图，显示来自ClusterStorTM平台上不同信息源的所有必要信息，包括硬件，Lustre和存储。

Scalable Storage Unit（SSU）是OneStor SP-2584（5U 84驱动器），包括2个嵌入式服务器模块（ESM）,运行Lustre对象存储服务器。SSU承担OSS/OST的功能。集成RAID、共享磁盘。通过同一个背板直连。OSS是完全冗余的，能够自动进行故障恢复。SSU是Xyratex专门设计的，5U 84个磁盘，密度高，专用于HPC应用。所有磁盘可以单独热插拔。

实际上，SSU和CMU实现了计算和存储融合，SSU实现了lustre系统的OSS/OST功能，是盘控一体的模块， 1个SSU包含2个OSS，1个OSS包含4个OST。5U高度的SSU一共84块硬盘。每个抽屉是42块硬盘，其中40块分成4个RAID6组，每个RAID6组是8+2，每个RAID6组是一个OST。1个SSU总共配置了8个RAID6组80个硬盘，剩下4个硬盘，其中2做热备盘，2个配置SSD作为性能加速。

Expansion Storage Unit（ESU）OneStor SP-2584（5U 84驱动器），包括： EBOD模块，即SAS扩展模块，允许OneStor SP-2584作为SSU的扩展机柜，每个SSU最多可以有1个ESU。

ClusterStor 9000产品中的ESU机箱与SSU机箱相同，高5个机架单元。SSU和ESU之间的区别是在ESU中，嵌入式服务器模块（ESM）被替换为EBOD模块（SAS扩展器），可以通过SAS连接到SSU父节点存储单元的嵌入式服务器模块，可以实现扩容并将SSU看作另一组存储目标来管理。

ClusterStor集成 Lustre，基于Lustre 2.5的企业硬化并行文件系统。用DNE（分布式NameSpace）单元在线扩展MetaData容量和性能的能力，通过添加额外的SSU在线扩展数据容量和性能的能力。

下面是ClusterStor的详细结构图，管理服务和元数据服务都采用HA高可用架构，网络支持InfiniBand EDR, FDR, QDR，Ethernet 40；Intel Omni-Path；且采用冗余架构。SSU内部有两台服务器实现存储服务HA，SSU系统支持84块磁盘，通过SAS可以扩展一台ESU单元，提供更多存储容量。

ClusterStor的存储软件架构，除了优化的Lustre，还包括RAID、GEM、Cache、Replication等。提供GridRAID技术，其中数据是随机分布的，GridRAID将RAID 6（8 + 2）数据保护条带以伪随机方式把数据和奇偶校验分布以到大量物理存储设备上。逻辑数据布局与物理存储组织分离，GridRAID能够通过使用GridRAID卷中的所有磁盘来重建数据，这种加速的冗余恢复被称为“GridRAID重建”。

在初始配置系统时，容量和性能决定选择SSU和ESU，以及扩展的building block对应的SSU到ESU比率，并且通过简单地添加额外的可扩展存储单元SSU和ESU，线性地实现无中断地扩展性能和容量。

从上面ClusterStor L300N规格可以看出，ClusterStor的Base Rack支持6个SSU，Expansion Rack支持7个SSU。

简单总结一下，希捷Xyrate致力于HPC场景，在方案上提供Lustre和GPFS两种并行文件系统选择，而且覆盖了在线计算、归档和安全法规遵从等场景；在性能上ClusterStor存储基于高密配置，基于并行文件系统优化，发挥出磁盘性能，同时通过高密满足大容量需求；在成本上ClusterStor基于JBOD(控制器)内置服务器和并行文件系统，节约机房空间，同时节约服务器成本；在SSD演进上推出RealStor AFA，满足未来Burst Buffer场景下的性能要求。搜索“ICT_Architect”加入微信公众号“架构师技术联盟”获取更多精彩内容。