阿里巴巴在技術創新領域再次邁出重要一步,于近日凌晨正式發布了其最新一代的通義千問模型——Qwen3。這一發布不僅標志著阿里巴巴在人工智能領域的深厚積累,更讓Qwen3一躍成為全球最頂尖的開源模型。
Qwen3系列模型涵蓋了多個版本,從Qwen3-0.6B到Qwen3-32B,以及更高級的MoE模型Qwen3-30B-A3B和Qwen3-235B-A22B,它們在層數、頭數、嵌入綁定、上下文長度等關鍵指標上展現出不同的配置。其中,Qwen3-235B-A22B作為旗艦模型,在代碼、數學、通用能力等基準測試中,與DeepSeek-R1、o1、o3-mini、Grok-3和Gemini-2.5-Pro等頂級模型相比,展現出了卓越的性能。
Qwen3是國內首個“混合推理模型”,它將“快思考”與“慢思考”巧妙融合于一個模型中,實現了算力消耗的極大節省。這種設計使得Qwen3能夠在面對復雜問題時進行深入推理,而在處理簡單問題時則能提供快速響應。
阿里云不僅開源了Qwen3的MoE模型權重,包括Qwen3-235B-A22B和Qwen3-30B-A3B,還開源了六個Dense模型,這些模型均在Apache 2.0許可下開放給公眾使用。這一舉措無疑將極大地推動人工智能技術的發展和應用。
Qwen3模型支持多達119種語言和方言,這一廣泛的多語言能力為全球用戶提供了前所未有的便利。無論是簡體中文、繁體中文還是粵語,Qwen3都能輕松應對,為國際應用開辟了全新的可能性。
在預訓練方面,Qwen3的數據集相比前代Qwen2.5有了顯著擴展。Qwen3使用了約36萬億個token的數據進行預訓練,涵蓋了119種語言和方言。這些數據不僅來自網絡,還包括從PDF文檔中提取的文本信息。為了增加數學和代碼數據的數量,阿里云還利用Qwen2.5-Math和Qwen2.5-Coder這兩個專家模型合成了大量數據。
Qwen3的預訓練過程分為三個階段,每個階段都針對不同的目標和數據集進行優化。在第一階段,模型在超過30萬億個token上進行了基礎預訓練;在第二階段,通過增加知識密集型數據的比例來改進數據集,并在額外的5萬億個token上進行了預訓練;在第三階段,使用高質量的長上下文數據將上下文長度擴展到32K token,以確保模型能夠處理更長的輸入。
在后訓練方面,阿里云實施了一個四階段的訓練流程,旨在開發同時具備思考推理和快速響應能力的混合模型。這一流程包括長思維鏈冷啟動、長思維鏈強化學習、思維模式融合和通用強化學習四個階段。
阿里云還為部署用戶提供了一種軟切換機制,允許用戶在enable_thinking=True時動態控制模型的行為。用戶可以通過添加/think和/no_think指令來逐輪切換模型的思考模式,這一功能在多輪對話中尤為實用。
目前,用戶可以在Qwen Chat網頁版(chat.qwen.ai)和通義App中試用Qwen3模型,體驗其強大的功能和靈活的思考模式。這一創新不僅將推動人工智能技術的進一步發展,也將為全球用戶帶來更加便捷和智能的服務。