近日,關(guān)于人工智能巨頭OpenAI的下一代語言模型GPT-5的誕生歷程,外媒The Information披露了一系列鮮為人知的內(nèi)幕消息,引發(fā)了業(yè)界的廣泛關(guān)注。
據(jù)悉,GPT-5的誕生之路并非一帆風(fēng)順。在研發(fā)過程中,OpenAI遭遇了人才流失、內(nèi)部混亂以及技術(shù)瓶頸等多重挑戰(zhàn)。尤其是核心研究團(tuán)隊(duì)的部分成員被meta(臉書母公司)的高薪挖角,直接導(dǎo)致了OpenAI內(nèi)部組織架構(gòu)的動(dòng)蕩。這一變動(dòng)甚至引發(fā)了研究副總裁Jerry Tworek在Slack上的公開抱怨,表達(dá)了團(tuán)隊(duì)面臨的困境,這一消息被眾多同事所見。
然而,就在這些負(fù)面消息頻出的同時(shí),OpenAI卻傳來了另一則好消息。公司成功籌集了83億美元的巨額融資,使其估值飆升至3000億美元。這筆資金是OpenAI今年400億美元融資計(jì)劃的一部分,由Dragoneer投資集團(tuán)領(lǐng)投,Blackstone、TPG、Fidelity、Founders Fund和紅杉資本等多家投資機(jī)構(gòu)跟投。盡管Dragoneer是本輪融資的最大出資方,但軟銀仍是整個(gè)融資計(jì)劃的牽頭者。
盡管融資成功為OpenAI注入了新的活力,但GPT-5的研發(fā)進(jìn)展卻并未如預(yù)期般順利。據(jù)外媒報(bào)道,GPT-5并未實(shí)現(xiàn)像GPT-3到GPT-4那樣的技術(shù)飛躍。實(shí)際上,原本被寄予厚望的Orion模型,在經(jīng)歷了一系列測試后,因其性能未能達(dá)到預(yù)期,最終被降級(jí)為GPT-4.5,并于今年2月低調(diào)發(fā)布。GPT-4.5的推出并未引起市場的廣泛關(guān)注,迅速淡出了公眾的視野。
Orion模型的失敗,暴露了OpenAI在預(yù)訓(xùn)練階段遇到的天花板問題。隨著高質(zhì)量網(wǎng)絡(luò)數(shù)據(jù)的日益枯竭,原本在小模型上有效的訓(xùn)練技巧,在大模型上卻失效了。這不僅導(dǎo)致了GPT-5的延期,也讓OpenAI團(tuán)隊(duì)內(nèi)部陷入了自我懷疑。
盡管如此,OpenAI并未放棄對(duì)GPT-5的研發(fā)。據(jù)報(bào)道,公司正在開發(fā)一種名為“通用驗(yàn)證器”的新技術(shù),該技術(shù)可以自動(dòng)化地確保模型在強(qiáng)化學(xué)習(xí)(RL)過程中產(chǎn)生高質(zhì)量的答案。這一技術(shù)的核心是讓一個(gè)大型語言模型(LLM)承擔(dān)起檢查和評(píng)估另一個(gè)模型答案的任務(wù),并利用各種信息源對(duì)答案進(jìn)行核實(shí)。這一創(chuàng)新有望為GPT-5的性能提升提供有力支持。
OpenAI在推理模型方面也取得了新的突破。基于一項(xiàng)名為Q*的技術(shù)突破,OpenAI開發(fā)了一系列推理模型,這些模型在獲得更多算力時(shí)表現(xiàn)出更佳的性能。盡管在將推理模型轉(zhuǎn)化為聊天版本時(shí)遇到了一些挑戰(zhàn),但OpenAI仍在不斷探索和優(yōu)化這一技術(shù)路徑。
盡管GPT-5的發(fā)布日期尚未確定,但OpenAI的高管們對(duì)模型的未來充滿信心。他們相信,沿著目前的架構(gòu)路徑發(fā)展,模型有朝一日將達(dá)到GPT-8的水平。CEO山姆·奧特曼也表示,利用現(xiàn)有技術(shù),OpenAI有望創(chuàng)造出通用人工智能(AGI)。這些樂觀的預(yù)期,無疑為OpenAI的未來增添了更多的想象空間。