字節跳動旗下的Seed團隊近日宣布了一項圖像編輯領域的重大進展,正式推出了SeedEdit 3.0模型。這一創新技術已經在即夢網頁端啟動測試,并將很快登陸豆包App,為用戶帶來前所未有的圖像編輯體驗。
在視覺內容創意工作中,通過AI實現指令式圖像編輯的需求日益增長。然而,傳統圖像編輯模型在處理圖像主體與背景保持、指令遵循等方面存在局限,導致編輯后的圖像質量參差不齊。SeedEdit 3.0的推出,正是為了解決這一難題。
據官方介紹,SeedEdit 3.0基于先進的文生圖模型Seedream 3.0,結合多樣化的數據融合方法和特定獎勵模型,實現了圖像編輯能力的顯著提升。該模型在人像編輯、背景更改、視角與光線轉換等場景中的表現尤為出色,能夠精細且自然地處理編輯區域,同時保持其他信息的高保真度。
在實際應用中,SeedEdit 3.0展現出了卓越的理解力和權衡力。例如,當用戶需要移除圖片中的無關行人時,該模型不僅能夠準確識別并刪除人物,還能一并去除影子,確保編輯后的圖像更加自然和諧。在2D繪畫轉為真實模特的任務中,SeedEdit 3.0也表現出色,能夠保持人物的細節,如衣帽穿搭和手提包等,生成兼具時尚感的街拍圖片。
SeedEdit 3.0在光影變換方面也表現出色。它能夠處理整個場景的光影,從近處房屋到遠處海水波紋,細節均能得到合理保留,并根據光線變化進行“像素級”的渲染調整。這一能力使得編輯后的圖像更加真實自然,為用戶提供了更多的創作可能性。
為了實現這些能力,Seed團隊在SeedEdit 3.0的研發過程中提出了高效的數據融合策略,并構建了多種專用獎勵模型。通過與擴散模型聯合訓練,這些獎勵模型針對性地改善了關鍵任務的編輯質量,如人臉對齊和文本渲染等。同時,團隊還對推理加速進行了優化,提高了模型的運行效率。
SeedEdit 3.0的推出,標志著字節跳動在圖像編輯領域取得了重要突破。這一創新技術將為視覺內容創作者提供更加高效、便捷的編輯工具,推動圖像編輯技術的進一步發展。