释放NVMe闪存的性能–NVMe over Fabrics在Oracle RAC中的应用实测

概述

众所周知,Oracle RAC的架构是Share Disk,共享存储的性能对系统整体表现来说至关重要,而共享存储系统性能又受多方面因素影响,其中比较重要的一点就是存储网络性能。在应用闪存的场景下,如果存储网络性能不足,再好的闪存也发挥不出威力,用一位客户的话说就是”茶壶煮饺子,有货倒不出。”,而存储网络的性能也不只是取决于硬件条件,还会受协议的影响。

我们通过实测来比较一下不同协议在Oracle数据库系统中的性能表现,本次比较的协议是NVMe over Fabrics和iSER。两种协议测试中用到服务器和网络硬件、OS、数据库软件完全一样,区别只在协议相关的软件和配置,看看结果有什么不同。

NVMe over Fabrics(简称NVMoF)是一种新的存储访问协议,相关的技术细节可以参阅:http://www.nvmexpress.org/wp-content/uploads/NVMe_Over_Fabrics.pdf

而iSER,可以理解为iSCSI+RDMA,也是一种高速存储访问协议,具体的介绍可以参阅https://en.wikipedia.org/wiki/ISCSI_Extensions_for_RDMA

NVMeoF和iSER都是需要RDMA支持的,RDMA(远程内存直接访问)可以通过NIC直接访问远端主机而不需要本地的CPU参与,是实现高带宽、低延时网络的关键技术。

从理论上讲,虽然这次比较的两种协议都使用了RDMA技术,但是显然NVMeoF比iSER更适合使用NVMe闪存的场景,2016年某闪存厂商使用fio测试结果,NVMeoF协议在访问远端NVMe闪存时,可以达到和本地访问一样的速度,显然iSER做不到这一点。和闪存厂商的测试不同,我们这次主要感兴趣的是在Oracle RAC系统中,两种协议的表现。

测试环境

能使用的资源有限,服务器只有3台,配置不高,好在主要看对比值。

项目 项目值 备注
服务器 CPU:E5-2620 v3*1
内存:32G
3台
NIC Mellanox ConnectX-3 VPI 双口卡 使用以太模式,带宽为40Gb,一个端口连存储,一个端口用来做”心跳”
OS RedHat Enterprise Linux 7.2
Oracle数据库 12.1.0.2 RAC
OFED Mellanox OFED 3.4.2
iSER Target SCST 3.2
NVMeoF Target Linux 内核自带 Linux 4.8.17
NVMe闪存卡 Intel P750 1.2T 2块

测试环境架构图:

环境搭建及测试

过程主要是以下几步:

1、安装OS,OFED(Mellanox OFED可选,也可以使用RHEL自带的驱动及工具,Mellanox的OFED安装后会自动配置启用RDMA),过程略。安装后配置如下:

主机名

管理IP地址

存储链路IP

备注

“el72h1”

192.168.0.17

10.10.10.17

计算节点1

“el72h2”

192.168.0.18

10.10.10.18

计算节点2

“el72h3”

192.168.0.19

10.10.10.19

存储节点

两个计算节点的/etc/hosts文件内容:

2、编译新内核:目前RHEL 7.2 的内核是3.10,而NVMe over Fabrics在Linux 4.8以上的内核中才有。Target端可以用Intel SPDK提供的Target程序代替,这样Target端不必升级Linux Kernel 到4.8以上,但是host(initiator)端目前好像只能用Linux 4.8以上内核才行。(如果谁知道还有别的选择,请一定告诉我)这个编译内核的步骤就不详细写了,网上都有教程。

3、在3台机器的其中一台(el72h3)上安装SCST 3.2,安装iSCSI-SCST,过程略过,先用在这台机器上建3个10G大小的文件,

然后用fileio的handler创建3个虚拟盘,用来存放OCR和Voting Disk,这样就可以把RAC先装起来。

SCST配置文件内容:

4、安装RAC过程省略,存放OCR设备的DG是DATA。

5、在el72h3配置NVMeoF Target,过程省略。如果用Linux内中中的nvmet,配置信息保存成json格式文件,内容如下:

如果使用intel SPDK,nvmf.conf文件内容如下:

(安装配置SPDK的方法详见www.spdk.io)

6、Host(initiator)端连接 Target端,为了操作方便,可以先安装nvmecli,这是个开源软件,下载后编译安装。

搜索Target端:

连接Target:

远程的NVMe设备Model是”Linux”,而FW Rev直接就是Linux的内核版本。

如果Target端用的是SPDK,使用 “nvme list” NVMe设备信息如下,和本地查看得到的信息一样:

7、使用FIO测试。(NVMeoF)

8、使用ASMCA创建磁盘组NVME,外部冗余,使用两个PCI SSD。

9、使用DBMS_RESOURCE_MANAGER.CALIBRATE_IO测试(NVMeoF)

10、Drop DG NVME (后面的iSER的fio测试会损坏磁盘组,磁盘组删不删都一样需要重建)

11、在el72h3使用iSCSI-SCST配置iSCSI Target(因为启用了RDMA,系统会使用isert)

12、两个计算节点连接iSCSI target,initiator使用的是RHEL7.2自带的initiator工具

13、使用FIO测试。(iSER)fio命令行参数和NVMeoF一样,只是filename不同,iSER会生成SCSI设备,/dev/sd[X],而NVMeoF不会生成SCSI设备,而是直接生成NVMe块设备 /dev/nvme[X]n[X]。

14、使用ASMCA创建磁盘组DATA1,外部冗余,使用两个PCI SSD。

15、使用DBMS_RESOURCE_MANAGER.CALIBRATE_IO测试(iSER)

测试结果

测试主要采用Oracle数据库中的DBMS_RESOURCE_MANAGER.CALIBRATE_IO工具,测试在不同情况下的跑分,以及FIO的IO跑分。测试多次,最后结果为平均值。

DBMS_RESOURCE_MANAGER.CALIBRATE_IO 测试 IOPS:

DBMS_RESOURCE_MANAGER.CALIBRATE_IO 测试 MAX_MBPS:

FIO测试结果(8K块,详细命令行见前文):

从测试结果看,NVMeoF的性能的确可以说是和本地访问一样,但是,如果NVMe设备多的话,会达到网络带宽上限,比如数据库内的DBMS_RESOURCE_MANAGER.CALIBRATE_IO测试,是使用2块NVMe 闪存,理论吞吐量应该还要大,4.2G的max_mbps 应该是达到存储端40GbE链路的带宽上限了。

感想及后续

  • 从测试结果看,NVMe over Fabrics的确不错,我认为会有越来越多的解决方案应用这项技术,包括基于分布式存储的Oracle数据库系统。但是,要想在生产环境中应用这项技术,个人认为还有很长的路要走,还有很多问题要解决。比如:对linux内核版本要求太高,Oracle的某些功能在这样的内核版本下是不被支持的,比如ACFS。
  • 在做数据库测试时,SPDK nvmf Target和Linux Kernel的 nvmet Target跑分基本没区别,但是在做fio测试时,延时情况SPDK要明显优于Linux Kernel,接近本地fio的指标。另外,从Target端CPU上占用上看,两者也有明显不同,Linux Kernel nvmet Target最高时是~80% sys,idle 15~20%,而SPDK这边最高时是~50% user,idle 45~50%。从理论上讲,SPDK是优于Linux Kernel的,从fio测试结果也证明了这一点,在我这种配置低,闪存少的测试中,两者差别不大,可能需要在更大规模的测试中,SPDK的优势才能体现得更明显。
  • Swingbench或SLOB测试对系统CPU资源有一定要求,测试设备配置太低,这次没有测。
  • 本次测试没有启用jumbo frames,启用以后性能还能好些。后续有时间会做这个测试。
  • 如果有时间,还想对比测试一下SRP和NVMeoF。


未经允许不得转载:Oracle一体机用户组 » 释放NVMe闪存的性能–NVMe over Fabrics在Oracle RAC中的应用实测

相关推荐