【TechWeb】明天是DeepSeek开源周的第二天，DeepSeek团队履约宣布了开源代码库DeepEP，这是一款专为MoE（Mixture of Experts）模子计划的EP（Efficient Parallelism）通讯库，它的呈现为MoE模子的练习跟推理供给了专门的通讯东西，处理了年夜范围散布式AI练习跟及时推理场景中效力低下的成绩。以下是DeepEP的一些技巧机能特色扼要先容：1. 高效通讯架构：DeepEP支撑全对全通讯形式的优化，实现了节点内跟节点间的NVLink与RDMA互联，明显晋升了数据传输的效力。2. 多精度与调理优化：DeepEP原生支撑FP8低精度运算调理，无效下降盘算资本的耗费。3. 重机能内核：高吞吐量内核计划，实用于练习跟推理预添补场景，最年夜化数据处置才能。4. 低耽误内核：针对推懂得码场景，采取纯RDMA通讯跟自顺应路由技巧，无效增加耽误。5. 资本把持与堆叠机制：经由过程机动的GPU资本把持战略，实现盘算与通讯进程的高效堆叠，防止资本闲置。6. 深度优化场景：对NVLink到RDMA的非对称带宽转发场景停止专项优化，晋升异构收集下的传输机能。别的，DeepEP还支撑SM（Streaming Multiprocessors）数目的静态把持，以均衡差别义务（如练习与推理）的吞吐量需要。（Suky）