OpenAI近期宣布了一項名為“OpenAI先鋒計劃”的新舉措，旨在改進當前AI模型的評估體系。公司指出，現(xiàn)有的AI基準測試存在諸多不足，因此該計劃將致力于開發(fā)一套全新的評估標準，以期設定更高的優(yōu)秀標桿。
隨著AI技術在各行各業(yè)的廣泛應用，準確評估其在現(xiàn)實世界中的表現(xiàn)變得愈發(fā)重要。OpenAI在其官方博客中提到，針對特定領域開發(fā)評估指標，可以更真實地反映AI模型在實際應用場景中的性能，從而幫助團隊在復雜且高風險的環(huán)境中做出更準確的判斷。
近期，LM Arena眾包基準測試平臺與meta的Maverick模型所引發(fā)的爭議，進一步暴露了當前AI評估體系的局限性。許多現(xiàn)行的基準測試過于關注模型在特定晦澀任務上的表現(xiàn)，如解決高難度數(shù)學問題，而忽略了其在實際應用中的價值。一些基準測試還存在易于被操縱或與大眾偏好不符的問題。
OpenAI的先鋒計劃將聚焦于為法律、金融、保險、醫(yī)療保健和會計等關鍵領域開發(fā)基準測試。據透露，在未來數(shù)月內，OpenAI將與多家公司攜手，共同設計定制化的基準測試，并將這些測試公開，以提供更具針對性的行業(yè)評估。
該計劃的首批參與者將聚焦于初創(chuàng)公司，這些公司將在高價值、廣應用的AI用例中發(fā)揮關鍵作用。OpenAI將從眾多初創(chuàng)公司中精心挑選出幾家，與它們攜手奠定先鋒計劃的基礎。參與該計劃的公司還將有機會與OpenAI團隊合作，利用強化微調技術改進模型，以提升其在特定領域的表現(xiàn)。
然而，這一計劃也面臨著來自AI社區(qū)的質疑。此前，OpenAI曾支持過基準測試工作并設計了自己的評估方法。此次與客戶合作發(fā)布AI測試，可能會引發(fā)關于道德和公正性的爭議。如何在確保評估體系客觀公正的同時，又能滿足行業(yè)特定需求，將是OpenAI在推進先鋒計劃過程中需要認真考慮的問題。
