AMD近期宣布了一項重大創(chuàng)新，推出了名為GAIA的應(yīng)用程序，專為大語言模型（LLM）的本地化運行而設(shè)計。這款應(yīng)用已經(jīng)在GitHub上開源，但目前僅限于Windows平臺使用。
GAIA是一款基于生成式AI技術(shù)的應(yīng)用程序，它允許用戶在Windows PC上本地、私密地運行大語言模型。這款應(yīng)用針對AMD銳龍AI 300系列處理器進行了優(yōu)化，展現(xiàn)了AMD在邊緣計算領(lǐng)域的進一步布局。
通過在NPU上運行GAIA，用戶可以顯著提升AI特定任務(wù)的性能。從Ryzen AI軟件版本1.3開始，AMD引入了混合支持功能，允許同時使用NPU和核顯來部署量化的大語言模型。
GAIA的核心組件基于ONNX TurnkeyML的Lemonade SDK開發(fā)，并采用了檢索增強生成（RAG）技術(shù)框架。通過本地向量索引，用戶可以實時檢索和分析YouTube、GitHub等外部數(shù)據(jù)。
系統(tǒng)的工作流程包括三大模塊：LLM連接器、LlamaIndex RAG管道和代理Web服務(wù)器。GAIA支持Llama、Phi等主流的大語言模型，并提供了四大功能模塊：
- Chaty：一款支持歷史對話的聊天機器人。
- Clip：專注于YouTube視頻搜索與問答的專家。
- Joker：一個具有幽默風(fēng)格的笑話生成器。
- Simple Prompt：用于直接與模型交互的測試工具。
在硬件方面，AMD提供了普通版和混合版兩種安裝方案。普通安裝包兼容所有Windows PC，包括非AMD硬件設(shè)備，通過Ollama后端實現(xiàn)跨平臺支持。混合安裝包則專為配備銳龍AI 300系列處理器的設(shè)備設(shè)計，能夠智能分配NPU與集成顯卡的計算負載。
GAIA在隱私和性能方面表現(xiàn)突出。本地化處理確保了醫(yī)療、金融等敏感行業(yè)的數(shù)據(jù)不會跨境傳輸。同時，響應(yīng)延遲降低至毫秒級，相比云端方案縮短了40-60%。NPU專用架構(gòu)實現(xiàn)了每瓦性能的提升，并支持離線環(huán)境運行。
AMD鼓勵開發(fā)者為GAIA貢獻自定義代理模塊，目前已有多個行業(yè)定制化代理正在開發(fā)中。GAIA項目采用了MIT開源協(xié)議，代碼庫已在GitHub上開放。
盡管目前GAIA暫不支持Linux和macOS系統(tǒng)，但AMD的官方文檔透露，未來可能會擴展至多平臺支持。
