国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯(lián)網(wǎng)科技媒體

摩爾線程全面擁抱DeepSeek開源周,加速AI模型訓練與推理

   時間:2025-03-02 09:52 來源:ITBEAR作者:顧雨柔

摩爾線程在DeepSeek開源周活動中大放異彩,宣布全面支持多項開源項目。這家智能科技公司昨日晚間宣布,他們已成功實現(xiàn)對DeepSeek各個開源項目的廣泛兼容,涵蓋了FlashMLA、DeepEP、DeepGEMM、DualPipe以及Fire-Flyer文件系統(tǒng)(3FS)等多個關鍵組件。

據(jù)摩爾線程介紹,F(xiàn)lashMLA作為一款專為加速MLA(Multi-Head Latent Attention)機制計算而設計的開源推理內核,尤其適用于DeepSeek系列模型。摩爾線程依托其最新的MUSA Compute Capability 3.1計算架構,提供了原生FP8計算能力,并通過升級高性能線性代數(shù)模板庫MUTLASS,迅速推出了MT-FlashMLA開源倉庫,確保了對DeepSeek FlashMLA的快速兼容部署。

DeepEP則是專為MoE(混合專家)模型訓練和推理打造的開源EP(expert parallelism,專家并行)通信庫,特別適用于大規(guī)模模型訓練。摩爾線程基于MUSA Compute Capability 3.1全功能GPU,第一時間適配了DeepEP,支持高效優(yōu)化的All-to-All通信、MTLink + GPU節(jié)點內通信以及原生FP8數(shù)據(jù)分發(fā)等多項特性,顯著提升了訓練效率。

DeepGEMM則是支持密集矩陣與MoE矩陣乘法的FP8 GEMM庫,為V3/R1的訓練與推理提供了強大支持。摩爾線程基于MUTLASS在全新GPU架構上進行了優(yōu)化,實現(xiàn)了FP8矩陣乘法,成功支持了DeepGEMM的相應功能。

DualPipe是DeepSeek-V3提出的雙向流水線并行算法,通過計算與通信的完全重疊,顯著減少了設備空閑等待時間,大幅提升了資源利用率與訓練效率。摩爾線程依托其深度學習框架Torch-MUSA和MUSA軟件棧的全方位兼容性,實現(xiàn)了對DualPipe算法的高效支持,并成功接入了摩爾線程的MT-Megatron框架和即將開源的MT-TransformerEngine框架。

Fire-Flyer文件系統(tǒng)(3FS)作為一種并行文件系統(tǒng),充分利用了現(xiàn)代SSD和RDMA網(wǎng)絡的帶寬,成為V3和R1訓練與推理過程中的關鍵支撐。摩爾線程在極短時間內完成了3FS的搭建,并開發(fā)了存儲插件,成功實現(xiàn)了與夸娥智算集群的無縫集成,為AI訓練、推理和科學計算等場景提供了全棧存儲加速方案。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數(shù)碼群

主站蜘蛛池模板: 亚洲国产成人最新精品资源 | 亚洲欧美国产一区二区三区 | 成人精品一区久久久久 | 最新欧美在线 | 欧美激情一区二区三区蜜桃视频 | 一本一本久久a久久精品综合 | 欧美福利视频网站 | 色综合五月激情综合色一区 | 久久精品视频热 | 亚洲欧美日韩国产精品久久 | 国产一区二区精品久久 | 激情五月婷婷小说 | 亚洲阿v天堂一区二区三区 日本a在线天堂 | 六月丁香深爱六月综合激情 | 能看毛片的网站 | 午夜亚洲国产成人不卡在线 | 亚洲欧美日韩国产 | 激情五色月 | 日本视频在线免费看 | 伊人狠狠丁香婷婷综合色 | 伊人精品在线观看 | 日韩欧美在线视频观看 | 亚洲精品欧洲久久婷婷99 | 免费看色网站 | 羞羞视频免费看 | 成人区精品一区二区毛片不卡 | 伊人99热 | 国产亚洲女人久久久久久 | 亚洲精品tv久久久久久久久久 | 国内精品视频成人一区二区 | 九九影视网 | 五月激情五月婷婷 | 这里只有精品视频在线观看 | 日本三级成人中文字幕乱码 | 久久国产视屏 | 欧美性精品hd在线观看 | 亚洲高清在线视频 | 国产自产自拍 | 亚洲一级电影在线观看 | 五月婷婷丁香色 | 亚洲欧美在线一区二区 |