OpenAI于近日推出了一項名為SimpleQA的新基準，旨在評估語言模型在回答簡短事實尋求問題時的準確性。這一舉措是AI領域追求更高事實正確性的重要一步。
據悉，SimpleQA通過一系列嚴格的標準來確保評估的公正性和有效性。其中包括高正確性，即參考答案需經兩名獨立AI訓練師驗證；多樣性，涵蓋從科學技術到娛樂等多個主題；以及前沿挑戰性，相比早期的基準，SimpleQA更能測試出前沿模型的實力。
SimpleQA還注重高效用戶體驗，問題與答案設計得簡潔明了，便于快速操作和評分。通過OpenAI API等工具，用戶可以輕松地進行模型評估。
OpenAI表示，盡管SimpleQA在短查詢的受限設置中測量事實準確性，但其希望這一基準的開源能夠推動AI研究在更廣泛領域的應用和發展。同時，SimpleQA也揭示了當前語言模型在生成事實正確回答方面仍面臨的挑戰，即如何減少錯誤輸出和未經證實的答案，這一問題也被稱為“幻覺”。
通過SimpleQA的推出，OpenAI期望能夠進一步促進語言模型的優化和完善，使其在更多場景中發揮出更大的價值。
