百度文心大模型4.5系列于近日正式向公眾開源,并在GitCode這一國內頂尖的開源平臺上首發亮相。此次開源旨在為眾多企業和開發者提供一套實用性強、易于上手且能迅速落地的大模型解決方案。
現在,全球范圍內的開發者、企業及研究機構都能通過GitCode平臺,免費訪問并下載文心大模型4.5系列,以滿足不同場景下的部署、微調等需求。誠邀各界人士下載體驗,一同踏上文心大模型的探索之旅。
文心大模型4.5系列涵蓋了多款開源模型,其中包括混合專家(MoE)模型,其激活參數規模分別為47B和3B(最大模型總參數量高達424B),以及參數規模為0.3B的稠密參數模型,總計達10款。針對MoE架構,百度提出了創新的多模態異構模型結構,通過跨模態參數共享機制,實現了模態間知識的有效融合,同時保留了各模態的專用參數空間。這一架構非常適合從大語言模型向多模態模型的持續預訓練,能在保持或提升文本任務性能的同時,顯著提升多模態理解能力。
文心4.5系列模型依托飛槳深度學習框架,實現了高效的訓練、推理和部署。在預訓練中,模型的FLOPs利用率(MFU)達到了47%。實驗數據表明,該系列模型在多個文本和多模態基準測試中均達到了業界領先水平,特別是在指令遵循、世界知識記憶、視覺理解及多模態推理等任務上表現尤為突出。模型權重遵循Apache 2.0協議進行開源,支持學術研究和產業應用。借助飛槳提供的開源產業級開發套件,該系列模型廣泛兼容多種芯片,降低了后訓練和部署的難度。
自2023年9月22日上線以來,GitCode平臺迅速崛起,已擁有超過620萬的注冊用戶和120萬的月活用戶,成為了極具影響力的開源社區。這一龐大的用戶基礎和活躍的社區氛圍,為文心大模型的推廣和應用提供了堅實的基礎和廣闊的發展空間。
作為全球開源生態的關鍵一環,GitCode平臺憑借AI原生基因,不斷優化開發者體驗。平臺集成了先進的代碼托管服務,支持全面的版本控制、分支管理和協作開發功能,使開發者能夠便捷地上傳、管理和分享代碼倉庫,享受流暢的協同開發過程。GitCode還提供了豐富的開源組件庫和多樣化的開發工具,無論是個人項目還是企業級應用,都能獲得安全、穩定和高效的代碼托管解決方案,助力開發者實現卓越的代碼管理與協作。
百度文心大模型與GitCode平臺的深度融合,正引領一場技術層面的范式變革。這一融合不僅革新了傳統的AI開發模式,還推動了中國開源生態的繁榮發展,加速了AI產業生態的壯大和可持續發展。可以預見,未來基于文心大模型的創新應用將層出不窮,為各行各業帶來前所未有的變革與機遇。