B站團隊近期宣布了一項重大技術突破,于5月12日正式開源了名為AniSora的動漫視頻生成模型。這一舉措標志著在動漫內容創作領域,AI技術邁出了重要一步。
B站團隊指出,盡管當前已有諸如Sora、Kling、CogVideoX等先進的自然視頻生成模型,但這些模型在動漫視頻生成方面仍存在一定的局限性。動漫的獨特藝術風格、夸張的運動表現以及對物理規律的打破,給模型的訓練和評測帶來了巨大挑戰。
為了克服這些挑戰,B站團隊精心打造了AniSora系統。該系統涵蓋了數據處理流水線、可控生成模型以及評測數據集等多個方面。其中,數據處理流水線整合了超過1000萬份高質量數據,為模型的訓練提供了堅實的基礎。可控生成模型則引入了時空掩碼模塊,支持圖生視頻、幀插值、局部圖像引導等關鍵動畫制作功能,使得生成的動漫視頻更加生動和逼真。
為了評估AniSora模型的性能,B站團隊還收集了948段多樣化動畫視頻,并配套進行了雙盲人評實驗及VBench測試。測試結果顯示,AniSora模型在人物一致性與運動一致性方面均達到了業界領先水平。
為了讓大家更直觀地感受AniSora模型的魅力,B站團隊還提供了多個圖生視頻示例。在示例中,可以看到各種動漫風格的場景和角色,如坐在汽車里向后揮手的人物、身穿紅色婚服走向遠方的人物、金發人物伸手觸摸跪著的人物的頭部等。這些場景和角色的動作流暢自然,充滿了動漫特有的夸張和想象力。
AniSora模型的開源,無疑將激發更多動漫創作者的熱情,推動動漫產業的創新發展。同時,這一技術也將為AI在動漫領域的應用開辟更廣闊的空間。
對于對動漫創作感興趣的讀者來說,不妨前往AniSora的開源地址,親自體驗這一技術的神奇魅力。相信在不久的將來,我們將看到更多由AniSora模型生成的精彩動漫作品。