在AI領(lǐng)域，一場關(guān)于預訓練的堅定承諾引發(fā)了廣泛關(guān)注。2024年10月16日，零一萬物公司的創(chuàng)始人兼CEO李開復公開表示，公司將堅持預訓練的道路，絕不輕言放棄。同日，零一萬物發(fā)布了其最新的MoE架構(gòu)旗艦大模型——Yi-Lightning，這是該公司五個月來首次更新模型動態(tài)。

據(jù)李開復介紹，Yi-Lightning的訓練成本極低，僅使用了2000張GPU，耗時一個半月，總成本約300多萬美元，這僅是埃隆·馬斯克的xAI成本的1%至2%。盡管成本低廉，但Yi-Lightning在性能上并未妥協(xié)。在加州大學伯克利分校LMSYS團隊的Chatbot Arena總榜單上，Yi-Lightning與xAI的Grok-2-08-13模型并列第六，并超越了OpenAI的GPT-4o-2024-05-13。

在特定能力上，Yi-Lightning也展現(xiàn)出了強勁的實力。在中文能力上，它與OpenAI的最新模型o1-mini版本并列第二；在數(shù)學能力上，Yi-Lightning與Gemini-1.5-Pro-002并列第三，僅次于在數(shù)學和邏輯推理方面表現(xiàn)突出的o1。

在定價策略上，Yi-Lightning也創(chuàng)下了零一萬物模型的最低定價：0.99元/百萬Token，這一價格策略無疑將增強其在市場上的競爭力。

在發(fā)布會上，零一萬物展示了Yi-Lightning在實用性方面的顯著提升。與2024年5月發(fā)布的Yi-Large相比，Yi-Lightning的首包時間縮短了一半，最高生成速度提升了近四倍。在翻譯場景中，Yi-Lightning的表現(xiàn)尤為突出，其翻譯速度更快，且翻譯結(jié)果更加準確、流暢。

李開復還揭秘了Yi-Lightning的訓練策略，包括獨特的混合注意力機制、動態(tài)Top-P路由機制以及多階段訓練等，這些策略共同提升了模型的性能和推理效率。

除了C端的生產(chǎn)力產(chǎn)品“萬知”外，零一萬物在B端商業(yè)化方面也取得了新的進展。他們推出了聚焦零售和電商等場景的AI 2.0數(shù)字人，該數(shù)字人背后是多模態(tài)協(xié)同訓練的大模型，包括電商話術(shù)大模型、角色大模型和直播聲音大模型。目前，AI 2.0數(shù)字人已經(jīng)接入了Yi-Lightning，用戶只需輸入商品信息、聲音性別和語調(diào)，即可生成相應的數(shù)字人形象。

面對大模型發(fā)展的深水區(qū)，李開復表示，盡管預訓練的成本較高，但中國的六家大模型公司只要有足夠的人才和決心，融資和芯片都不會是問題。他們將繼續(xù)在預訓練的道路上堅定前行。