在2025年6月，一場(chǎng)科技盛宴在美國(guó)田納西州悄然拉開(kāi)帷幕，這便是備受矚目的國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（CVPR2025）。此次盛會(huì)匯聚了全球頂尖的學(xué)者與科研人員，共同探討計(jì)算機(jī)視覺(jué)領(lǐng)域的最新進(jìn)展。

在這場(chǎng)科技盛宴中，一項(xiàng)由中國(guó)值得買(mǎi)科技與中國(guó)人民大學(xué)高瓴人工智能學(xué)院聯(lián)手打造的科研成果《圖像轉(zhuǎn)有聲視頻》成功脫穎而出，榮耀入選CVPR2025。這項(xiàng)成果首次提出并實(shí)現(xiàn)了一種從靜態(tài)圖像直接生成同步音視頻內(nèi)容的創(chuàng)新框架——JointDiT（Joint Diffusion Transformer），標(biāo)志著從圖像到“動(dòng)態(tài)視頻+聲音”的高質(zhì)量聯(lián)合生成邁出了關(guān)鍵一步。

CVPR，作為計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的頂級(jí)年度會(huì)議，由IEEE與CVF聯(lián)合主辦，每年吸引著來(lái)自全球的數(shù)千名與會(huì)者。CVPR2025涵蓋了從基礎(chǔ)理論到前沿應(yīng)用的廣泛議題，被錄用的論文代表了該領(lǐng)域最具影響力且經(jīng)過(guò)嚴(yán)格同行評(píng)審的研究成果。

值得買(mǎi)科技與人大高瓴人工智能學(xué)院的合作始于2023年，雙方結(jié)合值得買(mǎi)科技的集群算力、消費(fèi)數(shù)據(jù)和應(yīng)用場(chǎng)景能力，以及人大高瓴的科研和人才優(yōu)勢(shì)，在AI內(nèi)容創(chuàng)作、多模態(tài)生成等方面開(kāi)展前沿研究。此次的《圖像轉(zhuǎn)有聲視頻》成果，正是雙方共同努力的又一力作。

長(zhǎng)期以來(lái)，生成式模型的研究主要集中在單一模態(tài)的內(nèi)容合成上，如生成高保真的視頻畫(huà)面或自然的音頻片段。然而，在生成自然融合的有聲視頻時(shí)，卻面臨著視頻和音頻分離、畫(huà)面和聲音語(yǔ)義不匹配或時(shí)間上不同步等挑戰(zhàn)。針對(duì)這一問(wèn)題，JointDiT創(chuàng)新性地提出了圖像到有聲視頻生成（I2SV）的新任務(wù)，并構(gòu)建了統(tǒng)一的聯(lián)合生成框架。

JointDiT不僅采用了“重組+協(xié)同”的創(chuàng)新思路，還設(shè)計(jì)了感知式聯(lián)合注意力機(jī)制（Perceiver Joint Attention），實(shí)現(xiàn)對(duì)視頻幀與音頻序列之間的細(xì)粒度互動(dòng)建模。同時(shí)，提出的聯(lián)合無(wú)分類(lèi)器引導(dǎo)（JointCFG）及其增強(qiáng)版，進(jìn)一步提升了音視頻之間的語(yǔ)義一致性與時(shí)間同步性。這一成果在視頻質(zhì)量、音頻自然度、同步性和語(yǔ)義一致性等方面均實(shí)現(xiàn)了顯著提升。

為了驗(yàn)證JointDiT的有效性，研究團(tuán)隊(duì)在三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了大量測(cè)試。結(jié)果顯示，JointDiT在各項(xiàng)核心指標(biāo)上均優(yōu)于基于pipeline組合的多階段方法。在用戶(hù)主觀打分測(cè)試中，JointDiT同樣表現(xiàn)出色，在“視頻質(zhì)量”“音頻質(zhì)量”“語(yǔ)義一致性”“同步性”與“整體效果”五項(xiàng)評(píng)分中均名列前茅。

人大高瓴人工智能學(xué)院的宋睿華副教授表示，未來(lái)研究團(tuán)隊(duì)計(jì)劃將JointDiT擴(kuò)展至圖像、文本、音頻、視頻四模態(tài)的聯(lián)合建模，為構(gòu)建更通用、更智能的多模態(tài)生成系統(tǒng)奠定基礎(chǔ)。這一愿景無(wú)疑將為AI技術(shù)的發(fā)展注入新的活力。

值得買(mǎi)科技作為一家AI與內(nèi)容驅(qū)動(dòng)的數(shù)字消費(fèi)服務(wù)集團(tuán)，在AI浪潮來(lái)臨之時(shí)便搶先布局，將AIGC列為集團(tuán)重點(diǎn)戰(zhàn)略項(xiàng)目。此次與人大高瓴團(tuán)隊(duì)的合作，正是值得買(mǎi)科技全面AI戰(zhàn)略中的重要一環(huán)。據(jù)悉，雙方正在制定開(kāi)源計(jì)劃，旨在讓更多開(kāi)發(fā)者能夠便利地應(yīng)用這一創(chuàng)新成果。

目前，值得買(mǎi)科技已形成了從技術(shù)底層、產(chǎn)品形態(tài)到生態(tài)共建的全面AI布局。不僅構(gòu)建了以AIUC引擎為代表的底層AI技術(shù)能力，還推出了面向用戶(hù)、品牌、創(chuàng)作者及大模型的AI產(chǎn)品和解決方案。同時(shí)，值得買(mǎi)科技還將自身沉淀的AI能力開(kāi)放給合作伙伴，共建高質(zhì)量AI生態(tài)，推動(dòng)行業(yè)生態(tài)的繁榮與發(fā)展。