天翼云是中国电信倾力打造的云服务品牌，致力于成为领先的云计算服务提供商。提供云主机、cdn、云电脑、大数据及ai等全线产品和场景化凯发app官方网站的解决方案。
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
分类： 高性能计算
2023-05-10 16:32:48
本文分享自天翼云开发者社区《》，作者:邢****典
rdma（remote direct memory access）是远程直接内存访问技术，由于其低时延，低cpu占用等优势，被广泛的应用在分布式存储或计算系统中。dma技术是一种单机内的高速数据传输技术，通常由dma控制器来控制数据的传输流程，释放了cpu资源，而rdma技术是一种借助ib网卡实现远程高数数据传输的技术。
常用的ib网卡厂商有mellanox，intel。此处以mellanox网卡实践，如下图所示test节点上有两块双端口mellanox网卡，其中mt27800是100ge网卡，mt27710是25ge网卡，且已经工作在roce模式或tcp模式
搭建rocev2测试网络的步骤如下
1.在mellanox凯发k8官网下载客户端中心官网找到ib网卡的ofed驱动安装包
2.安装ofed驱动安装包
ofed安装包中提供的rpm安装包只支持部分内核版本，如果本机内核版本不匹配需要先安装对应的kernel-devel包，然后执行./mlnx_add_kernel_support.sh -m $ofed_dir --make-tgz -t /tmp/基于该内核开发包编译得到rpm安装包，该命令会在/tmp目录生成新的ofed_dir目录，在该ofed_dir目录执行./mlnxofedinstall --force完成安装。
其中$ofed_dir替换成ofed安装包解压后的目录
1. 配置ib网卡运行在rocev2或ib模式
使用/etc/init.d/openibd restart启动openibd服务后，可以看到系统多出了很多ofed提供的命令
2.测试rocev2网络包收发
通过rping或ib_send_bw命令可以测试rocev2或ib网络包收发。