在科技界的一次重大合作中，月之暗面Kimi與清華大學MADSys實驗室攜手，共同揭曉了他們醞釀已久的Mooncake推理系統設計方案。這一創新方案于2024年6月正式面世，其核心在于采用了KVCache為中心的PD分離技術和存換算架構，極大地推動了推理吞吐量的提升。
為了加快Mooncake技術的實際應用步伐，近日，月之暗面Kimi與清華大學MADSys實驗室再度發力，聯合9#AISoft、阿里云、華為存儲、面壁智能以及趨境科技等業界知名企業，共同推出了Mooncake開源項目。該項目旨在構建一個以KVCache為核心的大模型推理架構，進一步推動技術的普及與發展。
就在近日，Mooncake技術框架已經正式在開源社區上線，為全球的開發者提供了一個全新的技術平臺。以下是Mooncake技術框架的開源地址：
Mooncake開源項目不僅是對其學術論文的延伸，更是對以超大規模KVCache緩存池為核心的創新理念的實踐。通過存換算這一創新思路，Mooncake顯著降低了算力開銷，從而實現了推理吞吐量的顯著提升。這一突破性的進展，無疑為人工智能領域帶來了新的發展機遇。
在開源計劃的實施上，Mooncake采取了分階段推進的策略。首先，將高性能KVCache多級緩存Mooncake Store的實現逐步開源，同時確保對各種推理引擎和底層存儲/傳輸資源的兼容性。目前，傳輸引擎Transfer Engine部分已經率先在GitHub上實現了全球開源。
Mooncake開源項目的長遠目標是，為大模型時代打造一種高性能、內存語義存儲的標準接口，并提供一套可參考的實現方案。這將為未來的技術發展奠定堅實的基礎，推動人工智能領域邁向新的高度。
通過Mooncake推理系統架構圖，我們可以清晰地看到其設計的精妙之處。這一架構不僅體現了技術的先進性，更展示了合作團隊在人工智能領域的深厚底蘊和創新能力。
