螞蟻集團旗下的百靈大模型團隊在近期舉辦的螞蟻技術日上宣布了一項重要決定:將統一多模態大模型Ming-lite-omni進行開源。這一舉動標志著螞蟻集團在人工智能領域的又一次重大開放。
Ming-lite-omni是基于Ling-lite構建的MoE架構全模態模型,擁有220億的總參數和30億的激活參數。據螞蟻集團介紹,該模型不僅在技術上實現了突破,更在參數規模上達到了新的高度。
目前,Ming-lite-omni的模型權重和推理代碼已經面向公眾開放,后續訓練代碼和訓練數據也將陸續推出。這一舉措無疑將推動人工智能領域的技術創新和應用發展。
今年以來,百靈大模型團隊已經連續開源了多個模型產品,包括Ling-lite、Ling-plus等大語言模型,以及多模態大模型Ming-lite-uni和預覽版的Ming-lite-omni。這些開源模型不僅豐富了人工智能領域的技術生態,更為開發者提供了更多的選擇和可能性。
據百靈大模型團隊介紹,五月中旬開源的Ling-lite-1.5版本在能力上已經接近同水位的SOTA水平,介于千問4B和8B之間。這一成就不僅驗證了300B尺寸的SOTA MoE大語言模型在非高端算力平臺上訓練的可行性,更展示了國產GPU在人工智能領域的潛力。
而本次開源的Ming-lite-omni在多項理解和生成能力評測中,性能與10B量級領先的多模態大模型相當或更優。螞蟻集團認為,這是目前已知首個在模態支持方面能夠與GPT-4o相媲美的開源模型。這一成就不僅彰顯了螞蟻集團在人工智能領域的技術實力,更為全球開發者提供了更多的選擇和參考。
百靈大模型負責人西亭表示,百靈大模型的命名規則中,Ling代表基礎大模型,Ring代表推理版本,Ming則代表多模態大模型。在過去的時間里,百靈大模型團隊主要在MoE架構和多模態領域進行了深入探索。他們堅定地在語言大模型和多模態大模型上統一使用了MoE架構,并使用了大量非高端的算力平臺,成功證明了國產GPU在訓練可比擬GPT4o模型方面的能力。
對于未來的規劃,百靈大模型團隊表示將持續優化Ming-lite-omni在全模態理解和生成任務上的效果,并提升其多模復雜推理能力。同時,他們還將訓練更大尺寸的全模態模型Ming-plus-omni。根據西亭透露,百靈還在籌備Ling的Max版本,發布時間將與deepseek V3的版本相近。