EXADATA 一体机易损备件和IB交换机配置

EXADATA 一体机易损备件和IB交换机配置文档

Infiniband 配置

Infiniband概念介绍

InfiniBand架构是一种支持多并发链接的”转换线缆”技术,在这种技术中,每种链接都可以达到2.5 Gbps的运行速度。这种架构在一个链接的时候速度是500 MB/秒,四个链接的时候速度是2 GB/秒,12个链接的时候速度可以达到6 GB /秒。

InfiniBand技术不是用于一般网络连接的,它的主要设计目的是针对服务器端的连接问题的。因此,InfiniBand技术将会被应用于服务器与服务器(比如复制,分布式工作等),服务器和存储设备(比如SAN和直接存储附件)以及服务器和网络之间(比如LAN, WANs和the Internet)的通信。

    Exadata infiniband 接线

以下是一台1/4配Exadata infiniband内部是如何进行连接的:


1/4配的Exadata2台db节点和3台cell节点,另外还有2台叶子节点ib交换机。上图的理解如下:

Exadata的每台服务器都提供了一个双口的QDR infinband HCA卡, 采用在操作系统中Active-Standby的模式进行连接,Exadata就是据此来实现节点之间互连的高可用的。所以上图中有两个port,其中port1为Active, port2为Standby。默认情况下,db01, db02, cel01, cel02, cel03同时连接到两台ib叶子节点交换机上,只是在ib1为active状态,ib2为standby状态。如果db01需要访问cel01, cel02, cel03上数据有ib1就可以搞定了,并不需要通过ib2。如果ib1发生故障,这个时候ib2会自动接管,对前段的数据库的正常运行无影响。
另外两个ib叶子节点之间还有使用了7根线进行互联,这里问题来了,为什么是7根线,而不是2根或者8根?从以上图片中很难找到答案。


这个图是一台1/1的Exadata,但是只是用了2太ib叶子交换机。port1为primary,port2为standby。如果db01需要访问的数据位于cel01-cel07, 那么则无需使用ib2, 但是如果db01需要访问的数据位于cel08-cel14, 因为cel08-cel14再ib1上处于standby状态,并不会进行数据传输。所以需要通过两台ib交换机之间内联的7根线去ib2,然后再通过ib2去访问cel08-cel14的数据。如果两台交换机之间互连的数据线低于7根,则无法获取最大的性能,因为处于standby状态的cel节点为7台。高于7根数据线则意义不大。如果使用的是1/4配或者1/2, 虽然部分线是多余的,但是也会使用7根线来实现互联,因为这种接线的方式是出厂预设的。

如果使用第三台主干交换机,则只需要在每一台叶子交换机上分别引一根线到主干交换机。如下所示:


    Infiniband硬件配置

EXADATA 配置的infiniband 交换机的型号为:

Sun Datacenter InfiniBand Switch 36(X2821A-Z

Infiniband操作系统为oracle redhat 5 ,底层硬件通过ilom进行管理。

前视后视图如下:


从以上配置图可以看出,36口,冗余电源,冗余风扇

其中电源pn号:300-2143(A237 760 Watt Power Supply)

风扇pn号为:350-1312

Exadata易损配件

371-4982(raid卡电池)

更换方法请参见raid卡电池更换文档

371-4650(Flashdisk电池)

更换方法请参见esm电池更换文档

300-2235 (主机电源)

主机电源都是冗余,应该可以在线热插拔更换

未经允许不得转载:Oracle一体机用户组 » EXADATA 一体机易损备件和IB交换机配置

相关推荐