相关博文
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
分类： linux
2010-03-30 16:38:21
infiniband 万兆卡在项目中多次用到，以前邮件中对此讨论也比较多，此次邮政个人理财系统中遇到的情况大致如下：
每台机器有两块infiniband 卡，每块卡有两个口，安装驱动之后在系统识别到四个设备，ib0-ib3。hpdl580上的两块卡时竖插的，经过测试，离电源一侧远的卡上是ib0, ib1，上面的口是ib0；离电源一侧近的卡上是ib2,ib3,同样上面的口是ib2。对于这部分，是通过/sys/class/infiniband/mlx4_[0,1]/ports/[0,1]/phys_status查看是否linkup来确定的。
另外奇怪的一点是：系统中ib0和ib2的mac地址一模一样，ib1和ib3也是一样，但的确不影响使用，不过为防万一，所以后面配置的时候，是ib0 和ib3绑定的。
对于infiniband驱动的安装，参照如下：
驱动安装方法如下：
0、删除iscsi包，infiniband驱动和系统的iscsi有冲突
1、解压ofed-1.4.tgz
2、安装驱动
执行./install.pl后出现如下选项：
选择2后出现如下选项：
选择1，基本安装。选择2和3都无法编译通过，其实可以修改inistall.py脚本解决。
安装程序开始编译并安装驱动。
安装完成为它会要求你配置新设备ib0、ib1、ib2、ib3。
按照提示可以输入ip，netmask，network,broadcast。
但是因为此项目需要做双infiniband卡绑定，所以此步骤直接跳过（跳过可以输入n不配置，也可以ctrl c）
/etc/modprobe.conf中默认只有ib0和ib1，需要添加ib2和ib3（此步不做亦可）
安装时选择的basic安装方式，infiniband中支持绑定的模块没有安装上去，还需要手工安装一下
编译完毕会提示rpm包位置，安装即可
安装完毕，即可配置双infiniband卡绑定
系统中已经有bond0本地网卡的绑定，所以infiniband网卡绑定成bond1，使用ib0和ib3绑定。
此命令添加到/etc/rc.local实现开机启动生效。
注意：
1、安装版infiniband的ib-bonding包之后，系统中的bonding内核模块被infiniband的bonding模块替代，所以在系统中想service network restart的时候，本地网卡所做的bond0无法正常启动，重启系统才行（当然也可以删除infiniband的bonding模块，重新depmod -a）。
2、双infiniband交换机的时候，两台交换机需要串联。
每台机器有两块infiniband 卡，每块卡有两个口，安装驱动之后在系统识别到四个设备，ib0-ib3。hpdl580上的两块卡时竖插的，经过测试，离电源一侧远的卡上是ib0, ib1，上面的口是ib0；离电源一侧近的卡上是ib2,ib3,同样上面的口是ib2。对于这部分，是通过/sys/class/infiniband/mlx4_[0,1]/ports/[0,1]/phys_status查看是否linkup来确定的。
另外奇怪的一点是：系统中ib0和ib2的mac地址一模一样，ib1和ib3也是一样，但的确不影响使用，不过为防万一，所以后面配置的时候，是ib0 和ib3绑定的。
对于infiniband驱动的安装，参照如下：
驱动安装方法如下：
0、删除iscsi包，infiniband驱动和系统的iscsi有冲突
|
|
|
|
|
安装程序开始编译并安装驱动。
安装完成为它会要求你配置新设备ib0、ib1、ib2、ib3。
按照提示可以输入ip，netmask，network,broadcast。
但是因为此项目需要做双infiniband卡绑定，所以此步骤直接跳过（跳过可以输入n不配置，也可以ctrl c）
/etc/modprobe.conf中默认只有ib0和ib1，需要添加ib2和ib3（此步不做亦可）
|
安装时选择的basic安装方式，infiniband中支持绑定的模块没有安装上去，还需要手工安装一下
|
|
安装完毕，即可配置双infiniband卡绑定
|
系统中已经有bond0本地网卡的绑定，所以infiniband网卡绑定成bond1，使用ib0和ib3绑定。
此命令添加到/etc/rc.local实现开机启动生效。
注意：
1、安装版infiniband的ib-bonding包之后，系统中的bonding内核模块被infiniband的bonding模块替代，所以在系统中想service network restart的时候，本地网卡所做的bond0无法正常启动，重启系统才行（当然也可以删除infiniband的bonding模块，重新depmod -a）。
2、双infiniband交换机的时候，两台交换机需要串联。
给主人留下些什么吧！~~