近年來，人工智能（AI）在各個領域取得了顯著進展，尤其是大型語言模型（LLM），它們能夠生成人類水平的文本，甚至在某些任務上超越人類。然而，一項新研究對LLM的推理能力提出了質疑。蘋果公司的一組研究人員發現，這些模型在解決簡單數學問題時，只要問題稍有變動，就容易出錯，暗示它們可能并不具備真正的邏輯推理能力。
研究人員在一篇名為《理解大型語言模型中數學推理的局限性》的論文中揭示了LLM在解決數學問題時易受干擾的現象。他們通過對數學問題進行微小改動，例如添加無關信息，來測試LLM的推理能力。結果發現，面對這樣的變化，模型的表現急劇下降。
例如，當給出一個簡單的數學問題：“奧利弗星期五摘了44個奇異果，星期六摘了58個。星期日，他摘的是星期五的兩倍。他一共摘了多少個？”LLM能正確回答。但若添加無關細節：“星期日摘的是星期五的兩倍，其中5個比平均小。”LLM的回答則出錯。GPT-o1-mini的回答是：“...星期日，其中5個奇異果比平均小。我們需要從總數中減去它們：88 - 5 = 83個。”
這只是一個例子，研究人員修改了數百個問題，幾乎所有改動都導致模型回答成功率大幅下降。他們認為，這表明LLM并未真正理解數學問題，而只是根據訓練數據中的模式進行預測。一旦需要真正的“推理”，如是否計算小的奇異果，它們就會產生不合常理的結果。
這一發現對AI的發展具有啟示意義。盡管LLM在許多領域表現出色，但其推理能力仍有局限。未來，研究人員需進一步探索如何提高LLM的推理能力，使其更好地理解和解決復雜問題。
