小米大模型團(tuán)隊(duì)近日通過官方渠道“Xiaomi MiMo”公眾號(hào)震撼發(fā)布，其首個(gè)專為推理能力打造的大模型——MiMo正式開源。這一舉措標(biāo)志著小米在人工智能領(lǐng)域的又一重大突破，由全新組建的小米大模型Core團(tuán)隊(duì)傾力打造。

據(jù)悉，MiMo在數(shù)學(xué)推理（參考AIME 24-25評(píng)測(cè)）及代碼競(jìng)賽（LiveCodeBench v5評(píng)測(cè)）兩大公開測(cè)評(píng)集中，僅憑7B的參數(shù)規(guī)模，便超越了業(yè)界知名的OpenAI閉源推理模型o1-mini，以及規(guī)模更為龐大的阿里開源推理模型QwQ-32B-Preview，展現(xiàn)出卓越的推理性能。

小米官方詳細(xì)闡述了MiMo推理能力得以大幅提升的背后邏輯，這得益于預(yù)訓(xùn)練和后訓(xùn)練階段中數(shù)據(jù)和算法等多方面的創(chuàng)新融合。在預(yù)訓(xùn)練階段，團(tuán)隊(duì)著重讓模型接觸并學(xué)習(xí)多樣化的推理模式；數(shù)據(jù)方面，深入挖掘富含推理元素的語(yǔ)料，并合成約200B tokens的推理數(shù)據(jù)集，為模型提供了豐富的訓(xùn)練素材。訓(xùn)練過程則分為三個(gè)階段，逐步提升難度，累計(jì)訓(xùn)練量達(dá)到25T tokens。

進(jìn)入后訓(xùn)練階段，小米團(tuán)隊(duì)采用了高效穩(wěn)定的強(qiáng)化學(xué)習(xí)算法和框架。算法層面，創(chuàng)新性地提出了Test Difficulty Driven Reward機(jī)制，有效緩解了困難算法問題中的獎(jiǎng)勵(lì)稀疏難題，并引入Easy Data Re-Sampling策略，確保RL訓(xùn)練的穩(wěn)定性。框架層面，設(shè)計(jì)了一套Seamless Rollout系統(tǒng)，使得RL訓(xùn)練速度提升了2.29倍，驗(yàn)證速度也加快了1.96倍。

小米大模型MiMo的開源，無疑為人工智能社區(qū)注入了一股新的活力。對(duì)于開發(fā)者而言，這意味著他們將有機(jī)會(huì)深入了解并應(yīng)用這一先進(jìn)的推理模型，推動(dòng)相關(guān)領(lǐng)域的技術(shù)進(jìn)步和創(chuàng)新。同時(shí)，MiMo的成功也展示了小米在人工智能領(lǐng)域的深厚積累和持續(xù)創(chuàng)新能力。

對(duì)于關(guān)注人工智能發(fā)展的廣大用戶而言，小米MiMo的開源無疑是一個(gè)值得期待的消息。它預(yù)示著未來將有更多基于這一模型的創(chuàng)新應(yīng)用涌現(xiàn)，為人們的生活和工作帶來更多便利和可能性。

感興趣的開發(fā)者可以通過以下鏈接獲取小米MiMo的開源代碼及技術(shù)報(bào)告：

Hugging Face平臺(tái)：（鏈接已移除）

技術(shù)報(bào)告：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf