英偉達近日宣布了一項令人矚目的成就：其最新推出的Blackwell GPU在meta的Llama 4 Maverick模型上，成功刷新了大型語言模型（LLM）推理速度的世界紀錄。這一突破發生在周四，當時英偉達正式對外公布了這一消息。
據悉，為了達到這一里程碑，AI基準測試權威機構Artificial Analysis采用了配置了8塊Blackwell GPU的DGX B200節點。這一配置使得系統每用戶每秒能夠生成高達1000個tokens（TPS），這在之前是難以想象的。
英偉達的技術團隊通過深度優化TensorRT-LLM軟件棧，并結合EAGLE-3技術，對推測解碼草稿模型進行了訓練。這種加速技術通過小型快速草稿模型預測token序列，再由大型目標LLM進行并行驗證。英偉達表示，這種方法的優勢在于單次迭代可能生成多個token，盡管這需要額外的草稿模型計算開銷。經過這些優化，整套服務器系統在峰值吞吐配置下，每秒能夠處理72,000個tokens。
英偉達進一步解釋說，Blackwell架構與Llama 4 Maverick級別的超大規模語言模型完美適配，這得益于其專為大型語言模型推理加速設計的EAGLE3軟件架構。這一架構與GPU硬件架構形成了協同效應，從而實現了性能的顯著提升。
英偉達還強調，他們在提高性能的同時，也確保了響應的準確性。測試結果顯示，使用FP8數據格式的準確性與人工分析的BF16數據格式相當。這意味著，在保持高準確性的前提下，英偉達成功地大幅提高了系統的性能。
英偉達的這一突破，不僅展示了其在GPU技術領域的領先地位，也為大型語言模型的推理加速提供了新的解決方案。隨著人工智能技術的不斷發展，這一突破將對未來的AI應用產生深遠的影響。
