X7新特性raid0 on flashdisk

作者简介:石云华,现就职于北京海天起点,oracle技术二线专家成员,Exadata部门负责人。拥有十余年电信、保险、税务行业核心系统ORACLE数据库运维经验,持有11gOCM、Exadata、Goldengate等证书。擅长于oracle/goldengate/exadata方面的故障诊断及疑难问题处理。

SSL 缓存到了Exadata X7系列,存储节点的闪存卡已经改用F640闪存卡,ORACLE又重新与英特尔(Intel)合作。如表所示是F640闪存卡的相关指标参数。

F640闪存卡的相关指标参数

指标名称 指标值
F640闪存卡技术指标 接口 PCI Express总线第三代版本
Flash控制器 英特尔特有的PCIeNAND闪存控制器
固态NAND闪存 英特尔的TLC 3D NAND闪存
F640闪存卡性能指标 随机读(8K 779,000 IOPS
随机写(8K 220,000
顺序读(1M 5.5 GB/s
顺序写(1M 1.8 GB/s
IO读延时(8K 0.079 ms
IO写延时(8K 0.014 ms
F640闪存卡容量指标 用户可用容量 6.4 TB
FMod数量 2

 

从以上指标可以看出,F640闪存卡的存储容量或IO性能都比以前大幅的提升。

X7系列的F640闪存卡中,在操作系统层面无法通过fdiskparteddmesglsscsi等类似命令定位闪存卡,只能直接查看/dev目录下的nvme*设备,具体命令如下。

从以上命令输出可以看出,在/dev/目录下有8nvme设备。

继续查看存储节点FlashCacheLUN等详细信息,具体见代码清单。

代码清单 识别NVME闪存设备与LUN的对应关系

list flashcache detail的命令输出可以看出,由FD_00_dm03celadm01FD_01_dm03celadm01FD_02_dm03celadm01FD_03_dm03celadm014celldisk组成的FlashCache,但是从list lun的命令输出可以看出,1LUN上包括了2个闪存设备。例如6_0上包括FLASH_6_1FLASH_6_2这两个闪存设备,这2nvme设备其实属于同一个PCI-E闪存卡,也即说明X7PCI-E闪存卡上有两个FDOM,这与其指标参数完全一致,其每一个FDOM的容量大小与X6上的PCI-E闪存卡容量大小一致。

X5X6系列的PCI-E闪存卡中,每一个闪存卡内只有一个FDOM,也即只有一个Physical disk,这个Physical disk会创建成一个LUN,最终这个LUN会创建成一个celldisk,具体如图所示。


但是在X7系列的PCI-E闪存卡中,每一个闪存卡内有两个FDOM,也即每块PCI-E闪存里有两个Physical disk,这两个Physical disk同时会创建成一个LUN,最终这个LUN会创建成一个celldisk,具体如图所示。


如果我们联想到古老的X2X3X4系列,我们可以知道这些老版本的Exadata,其存储节点的每块PCI-E闪存卡上都有4FDOM,而这4FDOM会分别创建成4LUN,到了X7系列,每块PCI-E闪存卡上有2FDOM,而这2FDOM不是分别创建成2LUN,而是创建成1LUN。它是如何创建成1LUN的?为什么要创建成1LUN

我们先来回答第1个疑问,在X7系列,其实有一个新特性叫RAID0 on Flashdisk。这个特性在Exadata官方手册中未提及,从这个特性的名称我们也大致可以猜出这个特性的内容,其实就是X7存储节点的PCI-E闪存卡,会先对里面的两个FDOM做成一个软RAID0,也即这两个Physical disk创建成一个LUN,见代码清单。

代码清单 查看操作系统内的软件级RAID

从以上输出可以看出,当前X7系列存储节点存在4个软件级的RAID0,分别为md305md304md310md306,这些RAID0nvme接口类型的PCI-E闪存卡构成。

下面,我们继续来回答第2个疑问,PCI-E闪存卡为什么要创建成1LUN,它里面明明有2FDOM,为什么不分别创建成2LUN?简单来说,这样做的目的是为了跟X5X6的存储兼容。我们知道,从X5系列开始,就推出了”极速闪存”的存储节点,每个存储节点上面有8PCI-E可插拔磁盘,从前面的知道我们知道X5X6PCI-E闪存、Physical diskLUNCelldisk1111的关系,也即每个”极速闪存”的存储节点,上面有8Celldisk,而CelldiskGriddisk1N的关系,这间接地说明了,ASM磁盘组中每个故障组只有8Griddisk。而假设我们对X7PCI-E闪存中的2Physical disk创建成2LUN,那么PCI-E闪存、Physical diskLUNCelldisk就变成了1222的关系,这样X7每个”极速闪存”存储节点的8PCI-E闪存卡就会对应着16Celldisk,也即X7的每个故障组会有16Griddisk。此时X7的存储节点与X5X6混用时,就不符合ASM的最佳实践(ASM磁盘组中的每个故障组要求ASM磁盘数量一致,每块ASM磁盘的容量大小一致,ASM磁盘的性能一致)。

未经允许不得转载:Oracle一体机用户组 » X7新特性raid0 on flashdisk

相关推荐