allreduce 相关算法-凯发app官方网站

allreduce 算法通信过程：1. allgather 阶段。优点：带宽利用率高，因为在每个通信步骤中，所有节点都在同时发送和接收数据。缺点：延迟较高，尤其是当节点数量较多时，由于需要进行 2*(n-1) 次通信。tree allreduce：采用树状拓扑结构进行通信通信过.........【阅读全文】

阅读(137) | 评论(0) | 转发(0)

rdma高级特性

发布时间：2024-09-01 12:17:34

将多块非连续的mr拼接成一个va连续的mr如上图所示，我们之前创建了3个常规得mr：mr1(green), mr2(purple), mr3(red)，现在我们想从这三个mr中各抽取一部分拼接起来形成一个新的连续的mr：第一块是mr1(v0-v1)部分，第二块是mr2(v2-v3)部分，第三块是mr3(v4-v5)部分。这个新的mr有一个新的base va地址，长度是3个.........【阅读全文】

阅读(120) | 评论(0) | 转发(0)

大模型训练中的adam算法和相关优化

发布时间：2024-08-18 17:03:39

大模型训练中的adam算法和相关优化——lvyilong316 想要了解adam（adaptive moment estimaation，自适应矩估计）算法，必须先了解一阶矩和二阶矩。一阶原点矩一阶原点矩就是期望，更简单来说就是平均值。比如现在有5个数，分别是1、2、3、4、5，它们的期望计算方式如下.........【阅读全文】

阅读(118) | 评论(0) | 转发(0)

从google falcon看拥塞控制

发布时间：2024-07-14 16:00:42

流量控制和拥塞控制首先，我发现现实中大家讨论流量反压/限速过程中经常搞混流量控制和拥塞控制。流量控制是作用于接收者的，它是控制发送者的发送速度从而使接收者来得及接收，防止分组丢失的。所以流量控制的核心是防止接受端处理不过来。而拥塞控制是作用于网络的，它是防止过多的数据注入到网络中，避免.........【阅读全文】

阅读(247) | 评论(0) | 转发(0)

gpudirect 虚拟化

发布时间：2024-06-09 20:48:05

gpudirect 虚拟化在ai和hpc场景，gpu间需要大量的交换数据，gpu通信性能成为了非常重要的指标。nvidia推出的gpudirect就是一组提升gpu通信性能的技术。传统上，当数据需要在 gpu 和另一个设备之间传输时，数据必须通过 cpu，从而导致潜在的瓶颈并增加延迟。使用 gpudirect.........【阅读全文】

阅读(214) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

lvyilong3162023-06-06 15:06

zhangtongjian12：你好，请教下，“qemu和vhost-user前后端协商过程”中讲到的初始化多队列时，多队列初始化时，对应的kvm中断机制中irqfd和ioeventfd是和队列数目对应的吗？还是一个虚拟机就一个irqfd和ioeventfd？

和队列对应

zhangtongjian122023-06-02 10:29

你好，请教下，“qemu和vhost-user前后端协商过程”中讲到的初始化多队列时，多队列初始化时，对应的kvm中断机制中irqfd和ioeventfd是和队列数目对应的吗？还是一个虚拟机就一个irqfd和ioeventfd？

hello_neil2021-11-16 11:28

dpdk的几篇文章按照更新顺序看下来，受益匪浅，感谢博主。

留言热议

请登录后留言。

| | | | |

感谢所有关心和支持过chinaunix的朋友们