近期，科技界傳來一則新動態(tài)，英偉達攜手賓夕法尼亞州立大學及華盛頓大學，共同推出了名為Nemotron-Research-Tool-N1系列的新模型。這一系列模型受到了DeepSeek-R1的啟發(fā)，并采用了創(chuàng)新的強化學習（RL）范式，旨在增強模型的推理能力。

在大型語言模型（LLMs）領域，通過整合外部工具來提升性能已成為一種流行趨勢。這些工具使得LLMs在搜索引擎、計算器、視覺處理及Python解釋器等多個領域展現(xiàn)出了卓越的性能。然而，現(xiàn)有的研究方法大多依賴于合成數(shù)據(jù)集，難以捕捉到明確的推理步驟，導致模型往往只能模仿表面的模式，而無法真正理解背后的決策過程。

為了克服這一挑戰(zhàn)，研究者們積極探索了多種策略來提升LLMs的工具使用能力。一方面，他們通過整理數(shù)據(jù)集和優(yōu)化模型，創(chuàng)建了大規(guī)模的監(jiān)督數(shù)據(jù)集，并運用了監(jiān)督微調(diào)（SFT）和直接偏好優(yōu)化（DPO）等強化學習技術，將LLMs與外部工具相結合，進一步擴展其功能。另一方面，研究者們也在不斷改進推理過程，從傳統(tǒng)的訓練時擴展轉(zhuǎn)向更為復雜的測試時策略。

盡管這些方法在一定程度上取得了成效，但它們?nèi)匀皇芟抻诤铣蓴?shù)據(jù)的不足。通過現(xiàn)有的策略，LLMs雖然能夠處理單輪或多輪的工具調(diào)用，但在自主推理的深度上仍顯不足。為了突破這一局限，英偉達及其合作伙伴開發(fā)了Nemotron-Research-Tool-N1系列模型。

Nemotron-Research-Tool-N1系列模型并未依賴顯式的推理軌跡標注，而是采用了一種二元獎勵機制，鼓勵模型自主發(fā)展推理策略。研究者們對xLAM和ToolACE等數(shù)據(jù)集（包含單輪和多輪工具調(diào)用軌跡）的子集進行了統(tǒng)一處理，并設計了一種輕量級的提示模板，以指導工具生成過程。這種模板通過使用特定的標簽來明確指示中間推理步驟，并封裝工具調(diào)用，從而避免了模型過度擬合特定的提示模式。

在模型的主干部分，研究者們選擇了Qwen2.5-7B和14B，并測試了LLaMA系列的變體，以評估模型的泛化能力。在BFCL基準測試中，Nemotron-Research-Tool-N1-7B和14B模型展現(xiàn)出了卓越的性能，不僅超越了GPT-4o等封閉源模型，還優(yōu)于xLAM-2-70B和ToolACE-8B等經(jīng)過專用微調(diào)的模型。

與采用相同數(shù)據(jù)源的SFT基準相比，Nemotron-Research-Tool-N1系列模型展現(xiàn)出了顯著的優(yōu)勢，這充分證明了強化學習方法的有效性。在API-Bank基準測試中，Tool-N1-7B和14B的準確率分別比GPT-4o高出了4.12%和5.03%。這些結果不僅驗證了新方法的巨大潛力，還表明LLMs在自主生成推理策略方面取得了重要進展。這一突破標志著從傳統(tǒng)的監(jiān)督微調(diào)向強化學習范式的轉(zhuǎn)變。