AI視覺(jué)創(chuàng)作總差點(diǎn)意思？中科大等綜述500+篇文獻(xiàn)，系統(tǒng)分析生成一致性

新智元報(bào)道

【新智元導(dǎo)讀】擴(kuò)散模型已經(jīng)越來(lái)越會(huì)「畫(huà)」，卻還遠(yuǎn)沒(méi)有學(xué)會(huì)「守住要求」。決定系統(tǒng)是否可靠的，已不再只是畫(huà)質(zhì)，而是生成結(jié)果能否持續(xù)遵守條件、維持狀態(tài)，并符合人類與現(xiàn)實(shí)世界的基本標(biāo)準(zhǔn)。

過(guò)去幾年，擴(kuò)散模型最顯著的進(jìn)步，是生成質(zhì)量越來(lái)越高。

從文生圖、圖像編輯，到個(gè)性化生成、視頻和三維內(nèi)容創(chuàng)建，模型已經(jīng)能夠產(chǎn)生非常逼真的視覺(jué)結(jié)果。很多時(shí)候，一張生成圖片單獨(dú)擺在面前，我們甚至很難判斷它是否來(lái)自真實(shí)世界。

但當(dāng)生成任務(wù)變得復(fù)雜，一個(gè)比畫(huà)質(zhì)更基礎(chǔ)的問(wèn)題開(kāi)始暴露出來(lái)：

圖像看起來(lái)正確不代表模型真的完成了任務(wù)。

你要求模型生成三只貓，它可能只畫(huà)出兩只；你要求紅色方塊位于藍(lán)色圓球左邊，模型可能生成了兩個(gè)物體，卻把顏色和位置關(guān)系弄反；你讓模型連續(xù)生成同一個(gè)人物，它可能在每張圖片里都畫(huà)出一張好看的臉，但這些臉并不屬于同一個(gè)人。

視頻中的問(wèn)題更加明顯。每一幀單獨(dú)看都很逼真，人物的衣服卻不斷變化，手里的物體會(huì)突然消失，前一秒建立的場(chǎng)景狀態(tài)在后一秒不復(fù)存在。多視圖生成也一樣：每個(gè)角度都像一件合理的物體，但這些視圖放在一起，卻無(wú)法還原成同一個(gè)三維結(jié)構(gòu)。

這些失敗并不完全屬于「生成質(zhì)量差」。更準(zhǔn)確地說(shuō)，它們屬于另一類問(wèn)題：

模型沒(méi)有穩(wěn)定地遵守它應(yīng)該遵守的關(guān)系，即生成一致性。

中國(guó)科學(xué)技術(shù)大學(xué)、火箭軍工程大學(xué)、清華大學(xué)、華中科技大學(xué)、劍橋大學(xué)等機(jī)構(gòu)的研究者們共同發(fā)表的重磅綜述，系統(tǒng)梳理了超過(guò)500篇論文，揭示了擴(kuò)散模型視覺(jué)內(nèi)容合成繁榮表象下的「一致性危機(jī)」，并將領(lǐng)域內(nèi)的混亂研究梳理的條理清晰，描繪了一幅關(guān)于「一致性」關(guān)系分類、評(píng)估方法與優(yōu)化策略、核心挑戰(zhàn)與未來(lái)機(jī)遇的全景圖。

論文地址：https://www.preprints.org/manuscript/202606.0870/v1

開(kāi)源地址：https://github.com/Shawn-CodeDev/Awesome-Consistency-Diffusion-Visual-Generation

與按照文生圖、編輯、個(gè)性化、視頻、三維生成和安全等任務(wù)分別介紹不同，研究人員嘗試從更基本的問(wèn)題出發(fā)：

生成結(jié)果究竟需要和什么保持一致？

沿著這個(gè)問(wèn)題，原本分散在文生圖、可控生成、編輯等領(lǐng)域中的研究可以被重新組織為三種關(guān)系：生成結(jié)果與外部條件的一致、不同生成狀態(tài)之間的一致，以及生成內(nèi)容與人類及現(xiàn)實(shí)世界標(biāo)準(zhǔn)的一致。

這三種關(guān)系分別對(duì)應(yīng)擴(kuò)散生成從「聽(tīng)懂要求」，到「維持狀態(tài)」，再到「符合可部署標(biāo)準(zhǔn)」的三個(gè)層次。

沿著這一框架，研究人員進(jìn)一步討論一致性可以在生成流程的哪些位置被實(shí)現(xiàn)、為什么現(xiàn)有指標(biāo)經(jīng)常測(cè)不準(zhǔn)，以及當(dāng)多種要求相互沖突時(shí)，下一代生成模型真正需要解決什么問(wèn)題。

生成模型需要維護(hù)三種關(guān)系

三類一致性關(guān)系及其失敗模式

第一種關(guān)系，是結(jié)果與用戶條件之間的關(guān)系。

用戶輸入了一段文本、一個(gè)布局、一張參考圖或一條編輯指令，模型是否真正實(shí)現(xiàn)了這些要求？將其稱為外部一致性。

外部一致性

文生圖中的物體遺漏、屬性錯(cuò)綁、數(shù)量錯(cuò)誤和空間關(guān)系混亂，都屬于外部一致性失敗。模型可能理解了prompt的主題，卻沒(méi)有把文本中的對(duì)象、屬性和關(guān)系準(zhǔn)確對(duì)應(yīng)到視覺(jué)內(nèi)容中。

Attend-and-Excite原理

例如，「一只戴著皇冠的獅子」并不只是要求畫(huà)出獅子和皇冠，還要求皇冠被正確綁定到獅子上。模型如果只畫(huà)出獅子，或者把皇冠放在旁邊，即使圖像本身很漂亮，任務(wù)也沒(méi)有完成。

Attend-and-Excite、BoxDiff、GLIGEN 等方法所解決的，本質(zhì)上就是語(yǔ)言條件沒(méi)有被充分落實(shí)的問(wèn)題。它們通過(guò)注意力修正、空間約束或 grounding 機(jī)制，加強(qiáng)文本單元與視覺(jué)實(shí)體之間的對(duì)應(yīng)關(guān)系。

ControlNet原理

ControlNet、T2I-Adapter和IP-Adapter則把外部條件從文本擴(kuò)展到姿態(tài)、深度、邊緣、布局和參考圖像。它們?cè)噲D確保這些條件不只是「提供給模型」，而是真正進(jìn)入去噪過(guò)程并影響最終結(jié)果。

圖像編輯同樣屬于外部一致性，但它多了一層特殊要求：模型不僅要執(zhí)行指令，還要保護(hù)不應(yīng)該變化的內(nèi)容。

DiffEdit原理

而「把馬變成斑馬」這一指令并不意味著允許模型重新生成整個(gè)畫(huà)面。一個(gè)合格的結(jié)果必須改變目標(biāo)對(duì)象，同時(shí)保持原有姿態(tài)、構(gòu)圖、背景和其他區(qū)域。DiffEdit、Prompt-to-Prompt 和 InstructPix2Pix 等方法的核心差異，就在于它們?nèi)绾蝿澏ň庉嫹秶?，以及如何減少編輯對(duì)無(wú)關(guān)內(nèi)容的影響。

因此，外部一致性關(guān)注的并不是模型有沒(méi)有接收到條件，而是這些條件是否可以在最終結(jié)果中被清楚追蹤。

第二種關(guān)系，是多個(gè)生成結(jié)果之間的關(guān)系。

當(dāng)同一個(gè)主體出現(xiàn)在不同圖片、不同視角或不同時(shí)間中時(shí)，模型是否仍然維護(hù)著同一個(gè)對(duì)象和同一個(gè)世界？我們將其稱為內(nèi)部一致性。

內(nèi)部一致性

個(gè)性化生成是最直觀的例子。

Dreambooth和PhotoMaker原理

DreamBooth 將人物身份寫入模型參數(shù)，PhotoMaker 和 InstantID 則把參考圖片編碼成身份特征，在推理時(shí)注入生成過(guò)程。

兩條路線使用了不同的技術(shù)手段，但解決的是同一個(gè)問(wèn)題：當(dāng)背景、姿態(tài)、動(dòng)作和風(fēng)格發(fā)生變化時(shí)，哪些信息必須保持穩(wěn)定，才能讓人仍然認(rèn)為這是同一個(gè)主體？

這里需要區(qū)分外觀復(fù)制和身份持續(xù)。復(fù)制一張參考圖中的臉相對(duì)容易，困難的是在視角、姿態(tài)和場(chǎng)景改變后，仍然保持人物的臉部結(jié)構(gòu)、發(fā)型、服裝、配飾和角色特征。

SyncDreamer原理

多視圖生成將同一個(gè)問(wèn)題推進(jìn)到了三維層面。模型不能只生成若干張彼此相似的圖片，而必須讓這些圖片能夠由一個(gè)共同的幾何結(jié)構(gòu)解釋。Zero-1-to-3 通過(guò)參考圖和相機(jī)變化預(yù)測(cè)新視角，SyncDreamer 和 MVDream 則在過(guò)程中聯(lián)合多個(gè)視角，使它們共享中間狀態(tài)。

AnimateDiff和StoryDiffusion原理

視頻和故事生成面對(duì)的也是類似問(wèn)題，只是共享狀態(tài)沿時(shí)間延伸。AnimateDiff 通過(guò)運(yùn)動(dòng)模塊建立短程幀間聯(lián)系，StoryDiffusion、TaleCrafter 等方法進(jìn)一步嘗試維護(hù)角色、服裝、場(chǎng)景和事件狀態(tài)。

從這個(gè)角度看，視頻生成并不是連續(xù)生成很多張圖片，而是在不斷回答一個(gè)狀態(tài)問(wèn)題：

前面已經(jīng)發(fā)生了什么，接下來(lái)允許發(fā)生什么？

只要模型缺乏持久狀態(tài)，即使每一幀都足夠真實(shí)，長(zhǎng)序列仍然會(huì)出現(xiàn)身份漂移、物體消失、動(dòng)作斷裂和事件矛盾。

第三種關(guān)系

不來(lái)自當(dāng)前prompt，也不只存在于不同生成結(jié)果之間，而來(lái)自系統(tǒng)默認(rèn)應(yīng)該遵守的評(píng)價(jià)標(biāo)準(zhǔn)，將其稱為規(guī)范一致性。

規(guī)范一致性

一張圖可以完全符合 prompt，也可以在不同場(chǎng)景中保持人物身份，但它仍然可能不符合人類偏好、包含不安全內(nèi)容，或者違反基本的物理和因果規(guī)律。

偏好優(yōu)化、安全生成和物理世界建模表面上屬于不同研究方向，但它們共享一個(gè)結(jié)構(gòu)：模型需要與某種長(zhǎng)期生效的標(biāo)準(zhǔn)保持一致。

Diffusion-DPO原理

ImageReward、HPS 和 VisionReward 等方法嘗試從人類選擇中學(xué)習(xí)「什么樣的結(jié)果更好」；Diffusion-DPO、FlowGRPO 和 DiffusionNFT 等方法進(jìn)一步利用這些信號(hào)優(yōu)化生成模型。

安全方法則通過(guò)訓(xùn)練目標(biāo)、參數(shù)編輯、采樣引導(dǎo)或輸出過(guò)濾，降低危險(xiǎn)內(nèi)容的生成概率。

物理和因果一致性關(guān)注的是另一類標(biāo)準(zhǔn)。一個(gè)視頻可能運(yùn)動(dòng)平滑、畫(huà)面逼真，卻出現(xiàn)物體穿透、重力失效、狀態(tài)跳變或因果倒置。PhyBench、VideoPhy、PhyGenBench 等基準(zhǔn)正是為了暴露這類傳統(tǒng)圖像質(zhì)量指標(biāo)無(wú)法發(fā)現(xiàn)的問(wèn)題。

小結(jié)

三種關(guān)系并不是互相排斥的任務(wù)標(biāo)簽

一個(gè)個(gè)性化編輯系統(tǒng)通常同時(shí)需要遵守編輯指令、保持人物身份，并滿足安全和審美標(biāo)準(zhǔn)。一個(gè)長(zhǎng)視頻系統(tǒng)既要按照文本腳本生成內(nèi)容，也要維護(hù)人物和場(chǎng)景狀態(tài)，還要保證事件演化符合基本物理規(guī)律。

因此，三種一致性更像三個(gè)觀察角度：

• 外部一致性回答模型是否遵守條件；

• 內(nèi)部一致性回答模型是否維護(hù)已經(jīng)建立的狀態(tài)；

• 規(guī)范一致性回答模型是否符合默認(rèn)生效的評(píng)價(jià)標(biāo)準(zhǔn)。

一致性寫入生成流程的不同位置

優(yōu)化擴(kuò)散模型生成一致性的幾個(gè)位置

知道模型要維護(hù)什么關(guān)系之后，下一步問(wèn)題是：這些關(guān)系應(yīng)該在哪里被加強(qiáng)？

現(xiàn)有方法雖然數(shù)量龐大，但大體可以放進(jìn)一條擴(kuò)散生成流水線中理解。

有些方法在訓(xùn)練階段改變數(shù)據(jù)和目標(biāo)函數(shù)，將身份、偏好、安全或結(jié)構(gòu)約束直接寫入模型參數(shù)。它們通常具有較強(qiáng)的持續(xù)性，但需要額外訓(xùn)練，也可能影響模型的其他能力。

有些方法工作在條件接口。ControlNet、T2I-Adapter、GLIGEN 和 IP-Adapter 關(guān)心的是文本、布局、姿態(tài)、深度和參考圖如何被編碼，以及這些信號(hào)如何進(jìn)入擴(kuò)散模型。它們的核心目標(biāo)，是讓外部條件成為生成過(guò)程中的有效約束，而不只是一個(gè)弱提示。

另一類方法直接干預(yù)去噪軌跡。Attend-and-Excite 檢查哪些文本概念在注意力中被忽略，Prompt-to-Prompt 控制編輯過(guò)程中的注意力變化，BoxDiff 則通過(guò)空間目標(biāo)修正中間 latent。這類方法不一定需要重新訓(xùn)練模型，但干預(yù)過(guò)強(qiáng)時(shí)，可能降低視覺(jué)質(zhì)量、多樣性或采樣效率。

對(duì)于身份、多視圖和視頻任務(wù)，僅僅修正單條生成軌跡往往不夠。模型需要讓多張圖片、多個(gè)相機(jī)視角或多個(gè)視頻幀共享特征、注意力、中間狀態(tài)或外部記憶。此時(shí)，一致性不再屬于單個(gè)樣本，而屬于整個(gè)聯(lián)合生成過(guò)程。

最后，還有大量方法不修改生成器本身，而是在生成完成后使用獎(jiǎng)勵(lì)模型、安全過(guò)濾器、重排序器或物理驗(yàn)證器篩選結(jié)果。這種方式容易接入現(xiàn)有系統(tǒng)，但它主要處理已經(jīng)產(chǎn)生的錯(cuò)誤，而不能從根本上改變模型生成不一致內(nèi)容的傾向。

五類位置說(shuō)明，一致性不對(duì)應(yīng)某個(gè)萬(wàn)能模塊。

它可以被寫入?yún)?shù)，可以通過(guò)條件注入，可以在去噪過(guò)程中修正，也可以通過(guò)多個(gè)樣本的聯(lián)合生成或事后驗(yàn)證來(lái)維持。

不同位置之間還可以組合。但組合越多，新的問(wèn)題就越明顯：不同模塊可能同時(shí)修改同一組特征，甚至提出相互矛盾的要求。

為什么現(xiàn)有評(píng)價(jià)經(jīng)常測(cè)不清一致性

一致性的評(píng)估方法

一致性研究中的一個(gè)常見(jiàn)誤區(qū)，是試圖找到一個(gè)能夠概括全部能力的總分。

但 prompt 忠實(shí)度、身份保持、時(shí)間連續(xù)性、安全和物理合理性，并不是同一種屬性。更重要的是，它們甚至不能在同一種觀察對(duì)象上被測(cè)量。

Prompt 一致性通常比較一張圖片和一段文本。圖像編輯需要比較編輯前后的圖像。

身份一致性需觀察由同一主體生成的結(jié)果。

多視圖一致性必須同時(shí)檢查多個(gè)視角。

視頻和故事一致性則需要沿時(shí)間追蹤人物、物體和事件狀態(tài)。

因此，很多評(píng)價(jià)失敗并不是因?yàn)橹笜?biāo)不夠先進(jìn)，而是因?yàn)橛^察單位選擇錯(cuò)誤。

單張圖片中不存在「跨幀身份漂移」這個(gè)問(wèn)題。兩張相鄰視頻幀看起來(lái)平滑，也不能證明幾十秒后的角色和場(chǎng)景仍然一致。人臉相似度很高，不代表服裝、配飾和角色屬性沒(méi)有變化。圖文相似度很高，也不代表對(duì)象數(shù)量和空間關(guān)系正確。

評(píng)價(jià)一種一致性，至少需要明確四件事：

• 觀察的是單張圖、圖像對(duì)、圖像集合、多視圖還是序列；

• 檢查的是語(yǔ)義、結(jié)構(gòu)、身份、幾何、時(shí)間狀態(tài)還是規(guī)范標(biāo)準(zhǔn)；

• 使用的是 VQA、特征相似度、幾何信號(hào)、獎(jiǎng)勵(lì)模型、安全分類器還是人工判斷；

• 輸出的是正確率、保持度、兼容性、偏好分?jǐn)?shù)還是風(fēng)險(xiǎn)診斷。

所以，一致性評(píng)價(jià)不是尋找一個(gè)萬(wàn)能指標(biāo)，而是建立一個(gè)覆蓋不同關(guān)系的評(píng)價(jià)組合。

一個(gè)可信的生成系統(tǒng)不應(yīng)該只報(bào)告「整體表現(xiàn)更好」，而應(yīng)該說(shuō)明它在哪些約束上得到提升，又在哪些能力上付出了代價(jià)。

一致性并不是越強(qiáng)越好

如果三種一致性都很重要，一個(gè)自然想法是把它們同時(shí)加強(qiáng)。

真實(shí)情況是，不同一致性之間經(jīng)常發(fā)生沖突。

更嚴(yán)格地執(zhí)行 prompt，可能迫使模型生成不自然的構(gòu)圖，降低審美質(zhì)量。更強(qiáng)的身份綁定可以減少人物漂移，卻也可能把服裝、背景和姿態(tài)一起鎖死，使人物難以編輯。

更強(qiáng)的跨幀共享能夠減少視頻閃爍，但可能限制運(yùn)動(dòng)幅度，讓結(jié)果顯得僵硬。更激進(jìn)的安全擦除可以降低危險(xiǎn)內(nèi)容，卻可能誤傷正常概念和無(wú)害請(qǐng)求。嚴(yán)格物理約束適合機(jī)器人和仿真，未必適合超現(xiàn)實(shí)主義和開(kāi)放式藝術(shù)生成。

因此，一致性真正困難的部分，并不是把某個(gè)單獨(dú)指標(biāo)做到最高，而是在多個(gè)目標(biāo)同時(shí)出現(xiàn)時(shí)處理它們之間的關(guān)系。

系統(tǒng)需要知道哪些條件是必須滿足的硬約束，哪些只是可以調(diào)整的軟偏好；需要檢測(cè)不同條件是否發(fā)生沖突，并說(shuō)明為了提升一個(gè)目標(biāo)犧牲了什么。

目前多數(shù)方法仍然圍繞單個(gè)目標(biāo)設(shè)計(jì)。一個(gè)模塊負(fù)責(zé)身份，一個(gè)模塊負(fù)責(zé)姿態(tài)，一個(gè)模塊負(fù)責(zé)安全，另一個(gè)獎(jiǎng)勵(lì)模型負(fù)責(zé)美學(xué)。把這些模塊接到同一個(gè)系統(tǒng)上，并不會(huì)自動(dòng)產(chǎn)生協(xié)調(diào)。

這也是一致性研究下一階段最關(guān)鍵的問(wèn)題：從分別強(qiáng)化不同約束，走向能夠理解、解釋和處理約束沖突的生成系統(tǒng)。

從「高質(zhì)量生成」走向「可靠生成」

過(guò)去幾年，視覺(jué)生成的主要目標(biāo)是讓模型產(chǎn)生更真實(shí)、更清晰、更美觀的內(nèi)容。

但當(dāng)生成模型走向編輯、個(gè)性化、長(zhǎng)視頻、三維資產(chǎn)、仿真和具身智能時(shí)，視覺(jué)質(zhì)量已經(jīng)不再足夠。

模型必須學(xué)會(huì)維護(hù)三類關(guān)系：

它需要遵守用戶給出的條件，需要記住自己已經(jīng)建立的主體和世界狀態(tài)，也需要在用戶沒(méi)有逐條說(shuō)明時(shí)，仍然符合安全、偏好、物理和因果標(biāo)準(zhǔn)。

這要求未來(lái)的生成模型具備幾種今天仍然不足的能力。

第一，是沖突感知。模型不能只接收多個(gè)條件，還需要理解這些條件何時(shí)互相矛盾，以及應(yīng)該如何確定優(yōu)先級(jí)。

第二，是持久但可編輯的狀態(tài)。人物身份、場(chǎng)景結(jié)構(gòu)和故事歷史需要被穩(wěn)定保存，但這些狀態(tài)又不能僵化到無(wú)法被新指令修改。

第三，是可解釋評(píng)價(jià)。系統(tǒng)不應(yīng)該只輸出一個(gè)總分，而要能夠說(shuō)明自己在哪種一致性上成功或失敗。

第四，是從視覺(jué)相關(guān)性走向世界結(jié)構(gòu)。對(duì)于視頻、世界模型和具身智能，僅僅生成連續(xù)像素并不夠，模型還需要維護(hù)對(duì)象、狀態(tài)、動(dòng)作、物理關(guān)系和因果演化。

因此，一致性并不是生成質(zhì)量之外的附加要求。它更接近一條分界線：一側(cè)是能夠產(chǎn)生漂亮樣本的生成模型，另一側(cè)是能夠在復(fù)雜條件下長(zhǎng)期、穩(wěn)定、可控地工作的生成系統(tǒng)。

結(jié)語(yǔ)

從「美觀」到「可靠」

回看擴(kuò)散視覺(jué)生成的發(fā)展，過(guò)去幾年的核心進(jìn)步主要體現(xiàn)在一個(gè)維度上：模型越來(lái)越擅長(zhǎng)生成局部真實(shí)、視覺(jué)精致的內(nèi)容。但當(dāng)任務(wù)從單張圖像擴(kuò)展到復(fù)雜提示詞、圖像編輯、個(gè)性化、多視圖、長(zhǎng)視頻和世界建模時(shí)，視覺(jué)質(zhì)量不再足以判斷一個(gè)系統(tǒng)是否真正完成了任務(wù)。

一個(gè)結(jié)果可以在像素層面幾乎無(wú)可挑剔，卻在語(yǔ)義、身份、時(shí)間、空間或物理關(guān)系上完全錯(cuò)誤。生成模型面臨的關(guān)鍵問(wèn)題，正在從「能不能生成」轉(zhuǎn)向「能不能持續(xù)維護(hù)正確的關(guān)系」。

這也是本文提出一致性視角的根本意義。外部一致性要求模型對(duì)用戶條件負(fù)責(zé)，保證文本、結(jié)構(gòu)、參考圖像和編輯指令能夠在結(jié)果中被準(zhǔn)確落實(shí)；內(nèi)部一致性要求模型對(duì)自身已經(jīng)建立的狀態(tài)負(fù)責(zé)，使人物、場(chǎng)景、幾何和事件不會(huì)隨著視角或時(shí)間任意漂移；規(guī)范一致性則要求模型對(duì)更廣泛的評(píng)價(jià)標(biāo)準(zhǔn)負(fù)責(zé)，即使用戶沒(méi)有逐項(xiàng)聲明，系統(tǒng)仍應(yīng)遵守偏好、安全、常識(shí)、物理和因果約束。

三者分別對(duì)應(yīng)生成系統(tǒng)的控制能力、記憶能力和世界約束能力，也共同構(gòu)成了生成模型從視覺(jué)工具走向可靠系統(tǒng)的基礎(chǔ)。

從這個(gè)角度看，一致性并不是附加在圖像質(zhì)量之外的又一個(gè)指標(biāo)，而是一種重新理解生成任務(wù)的方式。它提醒我們，生成質(zhì)量本質(zhì)上不是單個(gè)樣本的孤立屬性，而是輸出與條件、輸出與輸出、輸出與評(píng)價(jià)標(biāo)準(zhǔn)之間的一組關(guān)系。

很多過(guò)去被分散討論的問(wèn)題——提示詞遺漏、身份漂移、視頻閃爍、多視圖矛盾、安全失效和物理錯(cuò)誤——并非彼此獨(dú)立，而是在不同尺度上暴露了同一個(gè)缺陷：模型能夠產(chǎn)生合理的局部表象，卻缺乏穩(wěn)定維護(hù)全局約束的能力。

這也解釋了為什么一致性無(wú)法依靠一個(gè)統(tǒng)一模塊或一個(gè)總分解決。不同關(guān)系需要在訓(xùn)練目標(biāo)、條件接口、去噪軌跡、跨實(shí)例狀態(tài)和輸出驗(yàn)證等不同位置被約束，也需要單圖、圖像對(duì)、集合、視角組和長(zhǎng)序列等不同觀察單位來(lái)評(píng)價(jià)。

未來(lái)真正可信的評(píng)估體系，不應(yīng)只告訴我們模型「整體更好」，而應(yīng)明確指出它遵守了哪些關(guān)系、在哪些關(guān)系上失敗，以及為提升一種一致性犧牲了哪些其他能力。

更深層的挑戰(zhàn)在于，不同一致性目標(biāo)并不總是方向一致。更強(qiáng)的提示詞約束可能損害美感，更穩(wěn)定的身份綁定可能降低可編輯性，更緊密的時(shí)間耦合可能壓縮運(yùn)動(dòng)多樣性，更嚴(yán)格的安全或物理約束也可能限制正常能力與開(kāi)放式創(chuàng)造。

因此，下一階段的研究重點(diǎn)不應(yīng)只是繼續(xù)強(qiáng)化單個(gè)約束，而應(yīng)讓模型能夠識(shí)別沖突、表示優(yōu)先級(jí)、保留長(zhǎng)期狀態(tài)，并在不同任務(wù)和用戶需求下進(jìn)行可解釋的權(quán)衡。

如果說(shuō)過(guò)去的生成模型主要學(xué)習(xí)「怎樣產(chǎn)生一幅看起來(lái)合理的畫(huà)面」，那么未來(lái)的生成系統(tǒng)還必須進(jìn)一步學(xué)習(xí)：什么必須保持不變，什么可以被修改，哪些狀態(tài)需要長(zhǎng)期記住，哪些約束在沖突時(shí)應(yīng)當(dāng)優(yōu)先，以及一次生成行為會(huì)對(duì)后續(xù)世界產(chǎn)生什么影響。

只有當(dāng)模型能夠穩(wěn)定回答這些問(wèn)題，視覺(jué)生成才會(huì)真正從高質(zhì)量?jī)?nèi)容合成，邁向可控制、可持續(xù)、可驗(yàn)證的智能生成。

參考資料：

https://www.preprints.org/manuscript/202606.0870/v1

編輯：LRST