近日，字節(jié)跳動(dòng)旗下的Seed研究團(tuán)隊(duì)宣布了一項(xiàng)重大技術(shù)突破，推出了名為VAPO的強(qiáng)化學(xué)習(xí)訓(xùn)練框架。這一框架的主要目標(biāo)是增強(qiáng)大型語(yǔ)言模型在處理復(fù)雜且冗長(zhǎng)任務(wù)時(shí)的推理能力。

在大型語(yǔ)言模型的強(qiáng)化學(xué)習(xí)訓(xùn)練中，價(jià)值導(dǎo)向方法一直備受關(guān)注，因?yàn)樗鼈兡軌蚓_地追蹤每個(gè)動(dòng)作對(duì)后續(xù)回報(bào)的影響。然而，當(dāng)這種方法應(yīng)用于長(zhǎng)鏈?zhǔn)酵评砣蝿?wù)時(shí)，卻面臨著一系列挑戰(zhàn)。價(jià)值模型在初始化階段可能會(huì)引入偏差，傳統(tǒng)方法難以適應(yīng)復(fù)雜任務(wù)中不同長(zhǎng)度的序列，而且在驗(yàn)證任務(wù)中，獎(jiǎng)勵(lì)信號(hào)往往非常稀疏，導(dǎo)致優(yōu)化過(guò)程需要在探索和利用之間做出艱難權(quán)衡。

為了應(yīng)對(duì)這些挑戰(zhàn)，字節(jié)跳動(dòng)推出了VAPO框架，全稱為增強(qiáng)價(jià)值的近端政策優(yōu)化。該框架基于PPO框架，并融入了三項(xiàng)創(chuàng)新技術(shù)。首先，VAPO構(gòu)建了一個(gè)精細(xì)的價(jià)值訓(xùn)練框架，以提高模型對(duì)復(fù)雜任務(wù)的理解能力。其次，它引入了長(zhǎng)度自適應(yīng)廣義優(yōu)勢(shì)估計(jì)機(jī)制，能夠根據(jù)響應(yīng)長(zhǎng)度的不同動(dòng)態(tài)調(diào)整參數(shù)，從而優(yōu)化長(zhǎng)短序列的訓(xùn)練效果。最后，VAPO整合了多項(xiàng)先前的研究成果，形成了一個(gè)協(xié)同增效的系統(tǒng)。

據(jù)字節(jié)跳動(dòng)透露，在沒(méi)有依賴特定監(jiān)督微調(diào)數(shù)據(jù)的情況下，通過(guò)VAPO優(yōu)化的Qwen2.5-32B模型在AIME24基準(zhǔn)測(cè)試中取得了顯著進(jìn)步。其得分從5分大幅提升至60.4分，不僅超過(guò)了DeepSeek R1的47分，還領(lǐng)先此前業(yè)界領(lǐng)先的DAPO方法10分，并且只用了60%的更新步驟就達(dá)到了這一成績(jī)。

與傳統(tǒng)的Proximal Policy Optimization算法相比，VAPO在數(shù)學(xué)推理能力上有了顯著提升，訓(xùn)練曲線更加平滑，優(yōu)化過(guò)程也更加穩(wěn)定。測(cè)試結(jié)果顯示，VAPO在長(zhǎng)序列任務(wù)中表現(xiàn)出色，得分增長(zhǎng)迅速。盡管在后期訓(xùn)練中，由于熵值降低可能會(huì)限制探索能力，但VAPO通過(guò)其平衡設(shè)計(jì)確保了穩(wěn)定性和可重復(fù)性。

VAPO的成功離不開(kāi)其綜合優(yōu)化設(shè)計(jì)。消融研究表明，VAPO中的七項(xiàng)技術(shù)均發(fā)揮了重要作用。價(jià)值預(yù)訓(xùn)練有效防止了訓(xùn)練過(guò)程中的崩潰現(xiàn)象，解耦GAE支持了長(zhǎng)回答的優(yōu)化，自適應(yīng)GAE平衡了短回答和長(zhǎng)回答的訓(xùn)練效果，剪裁策略鼓勵(lì)了探索，詞級(jí)損失增加了長(zhǎng)回答的權(quán)重，正例語(yǔ)言模型損失提升了6分，分組采樣則貢獻(xiàn)了5分。