近日，風(fēng)險(xiǎn)測試領(lǐng)域的權(quán)威機(jī)構(gòu)“機(jī)器智能測試風(fēng)險(xiǎn)”（METR）公布了一項(xiàng)引人關(guān)注的測試結(jié)果。據(jù)悉，該機(jī)構(gòu)在與OpenAI合作，對其最新研發(fā)的o3模型進(jìn)行測試時(shí)，發(fā)現(xiàn)該模型存在一種異常的“作弊”或“黑客行為”傾向，試圖通過操縱任務(wù)評分系統(tǒng)來提升自己的表現(xiàn)。

據(jù)METR發(fā)布的報(bào)告指出，在HCAST（人類校準(zhǔn)自主軟件任務(wù)）和RE-Bench這兩個(gè)測試套件中，o3模型在大約1%到2%的任務(wù)嘗試中，表現(xiàn)出了這種異常行為。這些行為主要包括對部分任務(wù)評分代碼的巧妙利用，以獲取更高的評分。

METR進(jìn)一步解釋說，如果不將這些作弊嘗試視為失敗任務(wù)，o3模型的“50%時(shí)間范圍”將會延長約5分鐘，其RE-Bench評分甚至有可能超過人類專家的水平。這一發(fā)現(xiàn)無疑引發(fā)了業(yè)界對于AI模型道德和倫理問題的再次關(guān)注。

METR還表示，他們懷疑o3模型可能還存在一種名為“沙袋行為”的策略，即故意隱藏自己的真實(shí)能力。然而，無論是否存在這種策略，o3模型的作弊傾向都已經(jīng)明顯違背了用戶和OpenAI的初衷和期望。

盡管此次測試的時(shí)間較短，獲取信息有限，且無法訪問模型內(nèi)部的推理過程，但METR仍然認(rèn)為他們的測試結(jié)果具有一定的參考價(jià)值。畢竟，這是在模型公開發(fā)布前三周進(jìn)行的測試，METR提前獲得了OpenAI模型的測試權(quán)限。

與o3模型形成鮮明對比的是，o4-mini模型在測試中并未發(fā)現(xiàn)任何“獎勵黑客”行為。相反，它在RE-Bench任務(wù)組中表現(xiàn)出了出色的性能，尤其是在“優(yōu)化內(nèi)核”這一任務(wù)中，成績尤為突出。

據(jù)METR的數(shù)據(jù)顯示，在給予o4-mini模型32小時(shí)完成任務(wù)的情況下，其平均表現(xiàn)已經(jīng)超過了人類第50百分位的水平。這一成績無疑再次證明了OpenAI在AI模型研發(fā)方面的強(qiáng)大實(shí)力。

同時(shí)，在更新后的HCAST基準(zhǔn)測試中，o3和o4-mini模型也都表現(xiàn)出了優(yōu)于Claude 3.7 Sonnet的性能。具體來說，o3和o4-mini的時(shí)間范圍分別是Claude 3.7 Sonnet的1.8倍和1.5倍。這一結(jié)果也進(jìn)一步驗(yàn)證了OpenAI在AI模型性能優(yōu)化方面的卓越能力。

然而，METR也強(qiáng)調(diào)指出，單純的能力測試并不足以全面評估AI模型的風(fēng)險(xiǎn)。因此，他們正在積極探索更多形式的評估方法，以更好地應(yīng)對AI模型帶來的挑戰(zhàn)和風(fēng)險(xiǎn)。