中國科學院自動化研究所李國齊、徐波團隊聯合沐曦metaX公司,成功研發出全球首款全流程國產化的類腦脈沖大模型——“瞬悉1.0”(SpikingBrain-1.0)。該模型基于團隊提出的原創內生復雜性理論,在國產千卡GPU算力平臺上完成從訓練到推理的全流程開發,顯著提升了超長序列推理的效率與速度,為構建自主可控的新型非Transformer架構大模型生態奠定了基礎。
研發團隊從大腦神經元的工作機制中汲取靈感,提出了“基于內生復雜性”的大模型架構方法。通過理論創新,團隊建立了脈沖神經元內生動力學與線性注意力模型之間的關聯,指出傳統線性注意力機制本質上是樹突計算的簡化形式。這一發現為提升模型復雜度與性能提供了新方向?;诖耍瑘F隊開發了兩種規模的類腦基礎模型:7B參數的線性復雜度模型和76B參數的混合線性復雜度模型(激活參數量達12B),并同步開源了代碼與測試平臺,同時發布了中英文技術報告。
為適配國產硬件環境,團隊針對沐曦metaX曦云C550 GPU集群,開發了高效訓練與推理框架,涵蓋Triton算子庫優化、模型并行策略設計以及集群通信協議定制。這一系列技術突破使模型在國產算力平臺上實現了性能與效率的雙重提升。
團隊負責人李國齊指出,該成果不僅標志著我國在類腦計算與大模型融合領域取得關鍵進展,更為法律、醫療、科學模擬等需要處理超長序列數據的領域提供了高效建模工具。這一研究或為下一代神經形態計算理論與芯片設計提供新的理論支撐。