阿里巴巴近期在人工智能領域邁出了重要一步,正式開源了一款名為ZeroSearch的大模型,這一創新技術被標榜為無需依賴真實搜索引擎便能激發強大搜索能力的解決方案。
據官方介紹,ZeroSearch是一個基于強化學習的框架,其核心在于提升大型語言模型(LLM)的搜索效能,而這一切的實現無需借助任何真實的搜索引擎。這一技術突破,為LLM在搜索領域的應用開辟了新的路徑。
在開發過程中,阿里巴巴的研究團隊首先通過監督式微調,將LLM轉化為一個檢索模塊,該模塊能夠針對查詢生成相關或含有噪聲的文檔。為了進一步激發模型的推理潛能,他們引入了課程化展開機制。這一機制通過逐步增加檢索任務的復雜性,讓模型在不斷挑戰中鍛煉其思考能力。
經過在多個領域內外數據集的廣泛實驗,結果顯示,ZeroSearch在沒有產生任何API費用的情況下,其性能甚至超越了基于真實搜索引擎的模型。這一成果不僅彰顯了ZeroSearch的高效性,也體現了其在成本控制上的顯著優勢。
ZeroSearch還展現出了良好的泛化能力。它能夠在不同規模的基礎型和指令微調型LLM上穩定運行,并支持多種強化學習算法。這一特性使得ZeroSearch在實際應用中具有更高的靈活性和適應性。
在7大問答數據集評測中,ZeroSearch的性能表現尤為亮眼。數據顯示,其70億參數模型的得分高達33.06,超越了谷歌搜索的32.47分。同時,與通過SerpAPI使用谷歌搜索訓練所需的高昂費用相比,使用140億參數的模擬LLM在四個A100 GPU上進行訓練的成本降低了87.93%。具體而言,通過SerpAPI訓練64,000個查詢的費用約為586.70美元,而使用ZeroSearch的訓練成本僅為70.80美元。
目前,ZeroSearch已在Qwen-2.5、LLaMA-3.2等多個主流模型家族中得到了驗證。為了推動這一技術的廣泛應用和發展,阿里巴巴研究團隊已將全部代碼、數據集及預訓練模型開源至GitHub和Hugging Face平臺。這一舉措無疑將為更多開發者提供學習和應用ZeroSearch的機會,共同推動人工智能領域的創新與發展。
開源地址:(點擊此處訪問)