3 月 11 日消息，科大訊飛研究院官宣，科大訊飛攜手華為在國產算力領域取得重大進展，雙方聯(lián)合團隊率先突破國產算力集群上 MoE 模型的大規(guī)?？绻?jié)點專家并行集群推理，這是繼 DeepSeek 公布其 MoE 模型訓練推理方案后，業(yè)界首個基于國產算力的全新解決方案。

　　聯(lián)合團隊通過軟硬件的深度協(xié)同創(chuàng)新，在多個關鍵技術層面深挖硬件潛力，完成昇騰集群上的驗證和部署。在算子融合方面，團隊在 MLA 預處理階段通過 Vector 與 Cube 異構計算單元并行流水，并將多個小算子融合重構為原子級計算單元，消除小算子下發(fā)開銷，MLA 前處理時延降低 50%+，實現(xiàn)性能的顯著提升。

　　科大訊飛研究院介紹稱，在混合并行策略和通信計算并行優(yōu)化方面，團隊構建了 TP（張量并行）+EP（專家并行）混合范式：對 MLA 計算層采用機內 TP 并行，發(fā)揮機內高速互聯(lián)優(yōu)勢，降低跨機通信損耗；創(chuàng)新 MoE 專家分層調度，64 卡均衡分配專家計算節(jié)點，定制 AllToAll 通信協(xié)議，專家數(shù)據(jù)交換效率提升 40%，構建跨機 / 機內雙層通信架構，通過分層優(yōu)化降低跨機流量 60%；同時研發(fā)路由專家負載均衡算法，實現(xiàn)卡間負載差異小于 10%，集群吞吐提升 30%。

　　通過分布式架構創(chuàng)新與算法協(xié)同優(yōu)化，聯(lián)合團隊在國產算力上實現(xiàn)了顯著的性能提升。單卡靜態(tài)內存占用縮減至雙機部署的 1/4，效率提升 75%，專家計算密度增加 4 倍，推理吞吐提升 3.2 倍，端到端時延降低 50%。

　　科大訊飛研究院表示，這一突破性的解決方案也將應用于訊飛星火深度推理模型的訓練加速，預期訓練時推理效率將提升 200%。同時，基于該方案的推理引擎也實現(xiàn)了國產算力上 DeepSeek V3 和 R1 的高效推理。

　　IT之家從科大訊飛公告獲悉，科大訊飛深度推理大模型星火 X1 也完成升級，在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下，星火 X1 的數(shù)學能力全面對標 DeepSeek R1 和 OpenAI o1，在中文數(shù)學各項任務中“均實現(xiàn)領先”。