在人工智能（AI）領域，過去兩年里，關于云端與端側模型的討論熱度不減。一個理想化的愿景是，隨著輕量化模型能力的增強，AI將不再依賴云端，實現每臺設備的永不離線智能。然而，現實卻呈現出另一番景象：盡管AI玩具和眼鏡等新產品層出不窮，其核心智能功能仍高度依賴云端。

然而，在今年的世界人工智能大會（WAIC）上，一家名為RockAI的公司展示了其在端側智能領域的突破性進展。RockAI致力于推動真正的離線智能，他們選擇了一條少有人走的路，通過大膽舍棄主流的Transformer架構，成功在端側部署了高性能的AI模型。

RockAI的聯合創始人鄒佳思在接受采訪時表示，實現離線智能面臨兩大挑戰：算力和功耗。大模型在設備上運行需要高算力配置，而大多數智能設備并不具備這樣的條件。功耗問題也是一大障礙，尤其是在手機上部署大模型時，設備發熱嚴重，影響用戶體驗。

鄒佳思進一步解釋，Transformer架構之所以在云端表現出色，是因為其革命性的注意力機制。但這種機制在端側設備上卻顯得水土不服，因為它需要全局計算，導致算力需求極高。為了解決這個問題，RockAI重新設計了一種更適合端側設備的架構，稱為Yan架構。

Yan架構的核心創新在于拋棄了Transformer的高耗能注意力機制，轉而采用更輕的特征提取和分區激活機制。這種架構不僅降低了算力需求，還顯著降低了功耗。Yan架構還實現了多模態能力，能夠在本地實現真正的“記憶”，動態調整權重，長期保留并更新用戶偏好。

鄒佳思指出，離線智能的必要性體現在多個方面。首先，它提供了絕對的隱私安全，用戶的敏感數據無需上傳云端。其次，離線智能能夠實現極致的實時交互，滿足毫秒級延遲需求。從成本角度來看，云端API的價格雖然不斷下降，但海量設備部署的成本依然高昂。而離線智能則能夠顯著降低后續使用成本。

對于AI眼鏡和玩具等熱門領域，鄒佳思表示，雖然市場對這些設備充滿了想象力，但硬件的物理現實卻極為殘酷。目前市面上的主流方案在算力上無法滿足AI模型的需求。因此，他們正在探索兩條路徑：一是通過手機算力輔助眼鏡實現AI功能；二是與有魄力的合作伙伴一起，嘗試在下一代眼鏡上采用更強大的芯片。

鄒佳思還提到，海外市場對離線智能的需求更為迫切。這主要源于文化上的隱私執念、客觀存在的網絡鴻溝以及更高的人力成本催生的效率需求。因此，RockAI選擇通過賦能中國出海企業，將技術帶給全球用戶。

面對未來硬件性能的提升，鄒佳思表示，他們并不擔心“小而美”的優勢會消失。相反，他們相信隨著硬件底座的增強，Yan架構大模型同樣能夠發揮出更大的潛力。而他們的護城河則在于對端側智能的深刻理解和持續創新。

RockAI的故事告訴我們，盡管端側智能面臨諸多挑戰，但只要有足夠的創新和堅持，就能夠找到破局之道。隨著技術的不斷進步和市場的逐步成熟，離線智能的未來值得期待。