近日,科技圈內爆發了一場關于大型語言模型知識產權的爭議。爭議的核心是華為諾亞方舟實驗室開發的盤古大模型(Pangu Pro MoE)被指控存在抄襲行為,指控方為GitHub上的@HonestAGI,其發布的研究論文指出盤古大模型涉嫌抄襲阿里巴巴的通義千問Qwen-2.5 14B模型。
面對這一指控,華為諾亞方舟實驗室迅速作出回應,堅決否認抄襲,并解釋稱盤古Pro MoE開源模型的部分基礎組件代碼實現確實參考了其他開源大模型的代碼,但這一切都是嚴格遵循開源許可證要求進行的。
然而,事態并未因此平息。網絡上隨后出現了一封疑似華為諾亞方舟實驗室內部員工的公開信,信中詳細披露了盤古大模型開發過程中的諸多不為人知的細節,并自曝了團隊內部存在的一系列問題。
據這位內部員工透露,盤古大模型在開發過程中經歷了諸多波折,包括算力有限、模型效果不理想、內部質疑聲不斷等。在面臨巨大壓力的情況下,團隊做出了一些“非常規”操作,如套殼、續訓、洗水印等,以求在短時間內提升模型效果。
這位員工表示,自己曾是盤古大模型團隊的一員,對華為有著深厚的感情。然而,這些“非常規”操作讓他深感失望和羞愧,認為這些行為將成為自己職業生涯中無法抹去的污點。因此,他決定站出來揭露真相,并申請從盤古部分技術報告的作者名單中移除。
信中,他還詳細描述了華為諾亞方舟實驗室的內部組織架構和工作流程,以及盤古大模型從最初的設計到后續的開發過程。他提到,盤古大模型早期內部代號叫做“盤古智子”,團隊在昇騰卡上進行了大量的訓練工作,付出了巨大的心血和代價。
然而,由于種種原因,盤古大模型在開發過程中遇到了諸多困難。例如,71B和135B模型在更換tokenizer時遇到了失敗,導致模型效果不理想。在面臨內部質疑和領導壓力的情況下,團隊做出了套殼和續訓的決定。
這位員工還透露,王云鶴及其小模型實驗室在盤古大模型的開發過程中扮演了重要角色,但他們的做法往往缺乏透明度,甚至存在直接套殼其他模型的情況。這些行為不僅損害了團隊的利益,也讓認真做事的同事們感到心寒和失望。
信中最后,這位員工以生命、人格和榮譽發誓,所寫內容均為真實。他表示,自己不怕被公司追責或威脅,只希望能為真相發聲,為那些默默付出的同事們討回公道。
這封公開信的出現,無疑為這場爭議增添了更多的火藥味。目前,華為方面尚未對此公開信作出正式回應。但這場爭議已經引起了業界的廣泛關注,也讓人們對大型語言模型的知識產權問題產生了更多的思考。