《現(xiàn)代電影技術(shù)》｜馮賢杰等：超高清沉浸式視頻實時分布式云渲染平臺設(shè)計及應(yīng)用

本文刊發(fā)于《現(xiàn)代電影技術(shù)》2026年第5期

專家點評

韓 強

正高級工程師

中國電影電視技術(shù)學(xué)會秘書長

超高清沉浸式視頻的日益興起，推動視聽業(yè)態(tài)從“觀看”向“在場”的范式升級，其對實時性與算力的極致要求，正倒逼底層技術(shù)架構(gòu)從集中式向分布式演進重構(gòu)。當(dāng)前，云邊協(xié)同與5G的融合為破解“超高畫質(zhì)”與“超低時延”的矛盾提供了新路徑，但如何實現(xiàn)算力資源的動態(tài)細(xì)粒度調(diào)度，保障多終端同步呈現(xiàn)的穩(wěn)定性，仍是產(chǎn)業(yè)落地的關(guān)鍵瓶頸。尤其在影視虛擬攝制中，異地協(xié)同實時渲染不僅需要技術(shù)突破，更需重構(gòu)生產(chǎn)流程的標(biāo)準(zhǔn)化邏輯，這既是技術(shù)挑戰(zhàn)，也是產(chǎn)業(yè)升級的必然方向。《超高清沉浸式視頻實時分布式云渲染平臺設(shè)計及應(yīng)用》一文緊扣技術(shù)趨勢，所提出的“云端算力協(xié)同-邊緣節(jié)點調(diào)度-實時渲染與傳輸優(yōu)化”一體化架構(gòu)，創(chuàng)新性地將Studio Bridge調(diào)度系統(tǒng)與5G技術(shù)深度融合，可實現(xiàn)分布式渲染任務(wù)的智能拆分與低時延回傳。相較于傳統(tǒng)方案，其核心優(yōu)勢在于：一是通過云邊端三級資源動態(tài)匹配，解決了高并發(fā)場景下的算力閑置與過載并存問題；二是對虛擬直播流程的全鏈路優(yōu)化，使異地協(xié)同制作時延降至產(chǎn)業(yè)可用水平。實際應(yīng)用更驗證其在影視預(yù)演、虛擬攝制等場景的降本增效價值，為超高清內(nèi)容的規(guī)模化生產(chǎn)提供了可復(fù)制的技術(shù)范本。作為應(yīng)用型研究成果，本文不僅完成了技術(shù)建構(gòu)閉環(huán)，更兼顧實際價值落地；既回應(yīng)了行業(yè)共性難題，又通過多技術(shù)整合形成差異化創(chuàng)新，對于推動沉浸式媒體從實驗性應(yīng)用走向產(chǎn)業(yè)化落地具有行業(yè)示范價值及工程實踐意義。

項目信息

中國傳媒大學(xué)中央高校基本科研業(yè)務(wù)費專項資金資助項目“基于智能體協(xié)同的數(shù)字人動態(tài)交互系統(tǒng)”（CUC25QT10）。

作者簡介

馮賢杰

中國傳媒大學(xué)媒體融合與傳播國家重點實驗室博士研究生在讀，主要研究方向：視頻理解、視頻生成、情感分析。

董錦芳

中國傳媒大學(xué)媒體融合與傳播國家重點實驗室碩士研究生在讀，主要研究方向：視頻理解、音樂生成。

穆凱輝

博士，中國傳媒大學(xué)媒介音視頻教育部重點實驗室助理研究員，主要研究方向：人工智能技術(shù)、視頻技術(shù)、沉浸式技術(shù)。

魯永泉

博士，中國傳媒大學(xué)媒體融合與傳播國家重點實驗室研究員，主要研究方向：并行計算、人工智能技術(shù)、視頻技術(shù)、沉浸式技術(shù)。

摘要

為解決影視級超高清視頻如何低時延傳輸和實現(xiàn)高品質(zhì)電影的異地協(xié)同實時制作，本文設(shè)計并實現(xiàn)了基于云邊協(xié)同架構(gòu)，融合細(xì)粒度分布式渲染與低時延實時傳輸虛擬直播技術(shù)的影視制作方案。該方案創(chuàng)新整合了5G技術(shù)和Studio Bridge調(diào)度系統(tǒng)，將高效的云邊協(xié)同架構(gòu)與虛擬直播流程有機統(tǒng)一，實現(xiàn)了細(xì)粒度的分布式渲染與低時延的實時素材傳輸。通過在云端完成有效調(diào)度算力資源進行高并發(fā)計算、在邊緣側(cè)執(zhí)行快速響應(yīng)，本方案大幅提升了虛擬直播場景的制作效率，使創(chuàng)作者能夠在短時間內(nèi)獲得高質(zhì)量畫面并靈活調(diào)整內(nèi)容。實際應(yīng)用表明，本文提出的云渲染平臺可為大規(guī)模虛擬攝制與多場景內(nèi)容制作提供技術(shù)支撐，助力影視生產(chǎn)的實時化、智能化和降本增效。

關(guān)鍵詞

云邊協(xié)同；分布式渲染；低時延傳輸；5G網(wǎng)絡(luò)

1

引言

超高清沉浸式視頻作為新一代影視與互動媒體的重要發(fā)展方向，正以更高分辨率、更廣色域和更強沉浸感推動影像表達(dá)方式的深度革新。其制作過程對算力、帶寬與時延的要求遠(yuǎn)超傳統(tǒng)視頻生產(chǎn)范式，尤其在虛擬攝制、云渲染及實時交互場景中，如何在保證超高畫質(zhì)的同時實現(xiàn)多終端的低時延協(xié)同，已成為行業(yè)亟待突破的技術(shù)瓶頸。傳統(tǒng)集中式渲染架構(gòu)在資源調(diào)度與實時響應(yīng)方面存在顯著局限，難以滿足超高清內(nèi)容的動態(tài)生成與即時傳輸需求[1]。

近年來，隨著云計算、邊緣計算（Edge Computing）和5G通信技術(shù)的快速演進，云邊協(xié)同的實時分布式渲染體系逐漸成為超高清內(nèi)容生產(chǎn)的新方向[2]。通過在云端實現(xiàn)高密度算力集群管理，在邊緣側(cè)完成任務(wù)分發(fā)與流媒體加速，系統(tǒng)能夠高效支撐多節(jié)點的并行渲染與超低時延的數(shù)據(jù)回傳。

本文圍繞超高清沉浸式視頻實時分布式云渲染技術(shù)與應(yīng)用展開研究，構(gòu)建“云端算力協(xié)同-邊緣節(jié)點調(diào)度-實時渲染與傳輸優(yōu)化”的一體化技術(shù)架構(gòu)，實現(xiàn)高分辨率視頻內(nèi)容的實時生成、動態(tài)分發(fā)與多終端同步呈現(xiàn)。研究成果可為影視、游戲、虛擬直播及數(shù)字文旅等領(lǐng)域提供高效、靈活的生產(chǎn)方案，為沉浸式媒體內(nèi)容的規(guī)模化應(yīng)用奠定技術(shù)基礎(chǔ)[3]。

2

研究背景

近年來，隨著超高清視頻與沉浸式媒體技術(shù)的迅速發(fā)展，影視、游戲、虛擬現(xiàn)實（VR）及元宇宙（Metaverse）等領(lǐng)域?qū)Τ叻直媛省⒌蜁r延視覺內(nèi)容需求日益增長[4]。傳統(tǒng)本地渲染架構(gòu)受限于單機算力與資源瓶頸，已難以滿足超高清視頻內(nèi)容的實時生成與交互體驗需求。分布式云渲染技術(shù)憑借其強大的計算集群、靈活的資源調(diào)度機制及可擴展的算力協(xié)同能力，正成為支撐超高清沉浸式內(nèi)容生產(chǎn)與分發(fā)的重要基礎(chǔ)。

（1）分布式云渲染任務(wù)分配與資源調(diào)度方法

分布式云渲染系統(tǒng)通過將復(fù)雜的視頻渲染任務(wù)拆解為多個子任務(wù)，并分配至云端不同計算節(jié)點并行處理，以實現(xiàn)高效渲染加速。其核心在于任務(wù)劃分策略、資源調(diào)度算法及負(fù)載均衡機制[5]。現(xiàn)有研究主要聚焦于基于任務(wù)特征的動態(tài)分配模型與異構(gòu)計算資源的自適應(yīng)調(diào)度方法。例如，基于有向無環(huán)圖的任務(wù)劃分算法可有效優(yōu)化多節(jié)點并行渲染的依賴關(guān)系，減少通信開銷；基于強化學(xué)習(xí)的自適應(yīng)調(diào)度模型則能依據(jù)任務(wù)負(fù)載與節(jié)點性能動態(tài)調(diào)整分配策略，從而提升系統(tǒng)整體吞吐率與資源利用率[6]。同時，容器化與虛擬化技術(shù)的引入使渲染節(jié)點間的資源調(diào)度更加靈活，支持按需算力分配，極大提高了系統(tǒng)的可擴展性與經(jīng)濟性。

（2）低時延高并發(fā)的實時傳輸技術(shù)

在超高清沉浸式視頻的實時渲染與交互中，低時延傳輸是保障沉浸體驗的關(guān)鍵。傳統(tǒng)的視頻流傳輸協(xié)議（如HTTP?FLV、RTMP）難以滿足毫秒級響應(yīng)需求，近年來興起的實時傳輸技術(shù)（如WebRTC、SRT）為云渲染結(jié)果的低時延回傳提供了新的解決方案[7,8]。通過引入自適應(yīng)碼率控制、前向糾錯與網(wǎng)絡(luò)擁塞預(yù)測機制，系統(tǒng)可在復(fù)雜網(wǎng)絡(luò)環(huán)境下實現(xiàn)穩(wěn)定的高幀率視頻傳輸[9,10]。同時，邊緣計算與內(nèi)容分發(fā)網(wǎng)絡(luò)的融合應(yīng)用有效縮短了傳輸路徑，減少了網(wǎng)絡(luò)抖動與延遲，為實時云渲染結(jié)果的快速分發(fā)提供支撐[11]。

此外，隨著人工智能（AI）驅(qū)動的網(wǎng)絡(luò)優(yōu)化技術(shù)發(fā)展，基于機器學(xué)習(xí)（ML）的時延預(yù)測與動態(tài)帶寬分配方法正在成為超高清沉浸式視頻實時傳輸?shù)闹匾较颉Ｔ擃惙椒筛鶕?jù)實時網(wǎng)絡(luò)狀態(tài)自適應(yīng)調(diào)整傳輸參數(shù)，實現(xiàn)端到端的動態(tài)優(yōu)化以保障體驗質(zhì)量（Quality of Experience, QoE），從而顯著提升用戶沉浸體驗與系統(tǒng)的實時交互性能[12]。

3

超高清沉浸式視頻實時分布式云渲染平臺設(shè)計與應(yīng)用實踐

本研究構(gòu)建了超高清沉浸式視頻實時分布式云渲染平臺，通過低時延傳輸、云邊協(xié)同細(xì)粒度分布式云渲染資源調(diào)度等技術(shù)，實現(xiàn)了渲染任務(wù)處理流程的優(yōu)化[13]；研發(fā)的渲染系統(tǒng)支持實時渲染與離線渲染功能，為影視制作、虛擬直播等場景提供了高效的計算支持[14]。

圖1為超高清沉浸式視頻實時分布式云渲染平臺總體架構(gòu)，主要分為兩個階段：低時延高性能實時傳輸技術(shù)和虛擬直播應(yīng)用系統(tǒng)（“拍攝上云”階段）及云邊協(xié)同的細(xì)粒度分布式云渲染任務(wù)分配方法（“制作上云”階段）。

圖1　超高清沉浸式視頻實時分布式云渲染平臺總體架構(gòu)

在“拍攝上云”階段，拍攝現(xiàn)場獲取LED/綠幕/動作捕捉畫面，經(jīng)由網(wǎng)絡(luò)設(shè)備接口（Network Device Interface, NDI）信號視效盒進行轉(zhuǎn)碼和圖傳。隨后，采用聯(lián)合緩存與傳輸控制的可伸縮傳輸與優(yōu)化協(xié)議（Scalable Transport and Optimization Protocol, STOP）架構(gòu)，結(jié)合低時延擁塞控制（Low?Delay Congestion Control, LDCC）算法，將拍攝畫面通過網(wǎng)絡(luò)傳輸至云渲染資源池中等待統(tǒng)一調(diào)度與處理。

在“制作上云”階段，制片管理方在虛幻引擎4（Unreal Engine 4, UE4）工作站中調(diào)用云邊協(xié)同的細(xì)粒度分布式云渲染調(diào)度算法，把渲染場景拆分為多個子任務(wù)，根據(jù)分級渲染策略與資源約束條件，將子任務(wù)通過5G網(wǎng)絡(luò)傳輸至云渲染資源池，并按需分配至合適的服務(wù)器進行渲染[15,16]。

完成畫面渲染后，平臺會將內(nèi)容實時傳輸至用戶直播等多種終端場景。總體而言，平臺通過分幀、分節(jié)點的細(xì)粒度、分布式渲染策略及分等級渲染機制，實現(xiàn)了高復(fù)雜度場景下的高效計算資源調(diào)度與任務(wù)分配，為多終端場景的沉浸式內(nèi)容分發(fā)提供了技術(shù)支撐[17]。

3.1 低時延高性能實時傳輸技術(shù)和虛擬直播應(yīng)用系統(tǒng)

3.1.1 NDI視效盒

NDI是一種實現(xiàn)音視頻信號實時、低延遲傳輸?shù)臉?biāo)準(zhǔn)化技術(shù)協(xié)議，其核心機制是通過NDI編碼技術(shù)將影視級質(zhì)量的音視頻信號封裝為網(wǎng)絡(luò)數(shù)據(jù)包，支持通過標(biāo)準(zhǔn)網(wǎng)絡(luò)或無線網(wǎng)絡(luò)進行高效傳輸與接收。

基于NDI實時音視頻傳輸協(xié)議，本文的云渲染平臺構(gòu)建了Studio Bridge云端調(diào)度系統(tǒng)（圖2），實現(xiàn)了多源音視頻信號在云端的統(tǒng)一調(diào)度。通過Studio Bridge Box視效盒（圖2以Box標(biāo)識）對SDI等專業(yè)視頻信號進行實時NDI化并上傳云端，系統(tǒng)支持多源信號的同步轉(zhuǎn)發(fā)、分組管理以及參與云端實時合成與渲染制作。當(dāng)前主流影視后期與實時渲染軟件均支持NDI信號輸入，確保了云端制作的軟件兼容性與系統(tǒng)集成性[18]。

圖2　Studio Bridge云端調(diào)度系統(tǒng)

該系統(tǒng)通過標(biāo)準(zhǔn)化協(xié)議與分布式架構(gòu)，實現(xiàn)了傳統(tǒng)設(shè)備與云端平臺的無縫銜接，為現(xiàn)場信號源的動態(tài)調(diào)度與實時同步監(jiān)看提供了技術(shù)保障。

3.1.2 聯(lián)合緩存和傳輸控制的STOP架構(gòu)

圖3展示了本研究提出的STOP架構(gòu)，該協(xié)議旨在解決應(yīng)用層截止時間感知等關(guān)鍵問題[19]。

圖3　STOP架構(gòu)

STOP架構(gòu)由6個核心模塊組成，各模塊協(xié)同工作以實現(xiàn)高效、可靠的傳輸控制：

（1）報文頭修改模塊：該模塊支持多協(xié)議兼容性，其核心功能是將數(shù)據(jù)的時效性要求（如截止期限信息）嵌入報文頭，使網(wǎng)絡(luò)傳輸實體能夠感知數(shù)據(jù)的優(yōu)先級與時間敏感性。

（2）窗口與緩沖區(qū)大小控制模塊：基于課程式強化學(xué)習(xí)智能體的決策指令，該模塊動態(tài)調(diào)整發(fā)送緩沖區(qū)容量與擁塞窗口，以優(yōu)化傳輸性能。

（3）估計模塊：該模塊通過預(yù)測發(fā)送端至接收端的單向擁塞延遲，為傳輸調(diào)度提供關(guān)鍵的時序信息支持。

（4）時間同步模塊：通過確保發(fā)送端與接收端的時間同步，該模塊為延遲計算與截止期限約束的滿足提供時間基準(zhǔn)。

（5）判斷模塊：該模塊通過預(yù)判數(shù)據(jù)包是否能在截止期限內(nèi)到達(dá)接收端，主動丟棄無法滿足時效性要求的數(shù)據(jù)包，防止帶寬資源浪費。

（6）課程式強化學(xué)習(xí)智能體模塊：作為核心控制單元，該模塊可實現(xiàn)動態(tài)策略更新并決定發(fā)送緩沖區(qū)與擁塞窗口的控制策略，以適應(yīng)網(wǎng)絡(luò)狀態(tài)的動態(tài)變化。

在發(fā)送端，數(shù)據(jù)流起始于應(yīng)用層發(fā)出的數(shù)據(jù)，經(jīng)報文頭修改模塊進行協(xié)議頭封裝或調(diào)整后，進入數(shù)據(jù)隊列進行排隊。核心控制邏輯由窗口與緩沖區(qū)大小控制模塊執(zhí)行，該模塊根據(jù)課程式強化學(xué)習(xí)智能體模塊決策動態(tài)調(diào)整發(fā)送緩沖區(qū)容量，最終將數(shù)據(jù)釋放至網(wǎng)絡(luò)層進行傳輸。

在傳輸過程中，STOP架構(gòu)的控制信息流驅(qū)動傳輸性能的動態(tài)優(yōu)化。網(wǎng)絡(luò)層提供的狀態(tài)信息（如網(wǎng)絡(luò)延遲、丟包率等）首先被估計模塊進行參數(shù)分析，估計結(jié)果反饋至課程式強化學(xué)習(xí)智能體模塊以更新策略并制定決策，同時傳遞至判斷模塊指導(dǎo)窗口與緩沖區(qū)控制策略的調(diào)整。此外，時間同步模塊通過與網(wǎng)絡(luò)層和應(yīng)用層的交互，實現(xiàn)時序校準(zhǔn)，確保數(shù)據(jù)傳輸?shù)膶崟r性與一致性。

在接收端，數(shù)據(jù)流經(jīng)網(wǎng)絡(luò)層后進入接收緩沖區(qū)進行緩存，隨后通過報文頭修改模塊進行解封裝與校驗，最終遞交給應(yīng)用層使用。時間同步模塊在此端同樣發(fā)揮關(guān)鍵作用，通過傳遞同步信息實現(xiàn)網(wǎng)絡(luò)層與應(yīng)用層的協(xié)同。此外，應(yīng)用層的信息流反饋至報文頭修改模塊，以根據(jù)應(yīng)用狀態(tài)或需求對接收數(shù)據(jù)進行動態(tài)處理[20]。

上述閉環(huán)、自適應(yīng)的優(yōu)化機制使STOP架構(gòu)通過標(biāo)準(zhǔn)化協(xié)議設(shè)計與動態(tài)策略優(yōu)化，有效降低了端到端傳輸時延，顯著提升了分布式云計算環(huán)境中多客戶端渲染任務(wù)的交互流暢性與用戶感知質(zhì)量。

3.1.3 LDCC算法

為解決網(wǎng)絡(luò)傳輸時延偏高、缺乏對實時應(yīng)用截止與緩存排隊時間的處理等問題，本研究在源端部署了基于隊列長度預(yù)測的LDCC算法。圖4示意了LDCC算法的核心工作流程。

圖4　LDCC算法示意圖

LDCC算法旨在實時更新網(wǎng)絡(luò)傳輸特征并進行隊列長度預(yù)測。首先，算法采用被動探測的方法對當(dāng)前網(wǎng)絡(luò)帶寬進行準(zhǔn)確估算。隨后，利用數(shù)學(xué)模型對瓶頸鏈路的理論隊列長度進行建模計算。LDCC算法將獲得的關(guān)鍵網(wǎng)絡(luò)參數(shù)引入一個基于學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型中，該網(wǎng)絡(luò)模型以建模的隊列長度、測量的網(wǎng)絡(luò)帶寬以及其他網(wǎng)絡(luò)傳輸特征作為輸入，預(yù)測出實際隊列長度。最后，LDCC算法利用預(yù)測出的實時隊列長度信息，動態(tài)調(diào)整當(dāng)前的擁塞窗口大小，從而將隊列延遲維持在最低水平，有效控制了傳輸時延。這一預(yù)測和調(diào)整機制實現(xiàn)了對瓶頸隊列狀態(tài)的主動干預(yù)，而該主動干預(yù)機制的有效性，依賴于對當(dāng)前網(wǎng)絡(luò)帶寬的準(zhǔn)確量化與評估。

式（1）描述了LDCC算法中用于被動探測和估計網(wǎng)絡(luò)帶寬Ct 的核心過程。該過程主要通過測量連續(xù)發(fā)送的數(shù)據(jù)包對（Packet?Pair）在接收端的到達(dá)時間間隔來實現(xiàn)，是計算帶寬時延積（BDP）相關(guān)參數(shù)的方法之一。該過程的主要規(guī)則包括瞬時帶寬的計算以及瓶頸帶寬的更新兩個步驟，具體如下：

（1）瞬時帶寬的計算與原理

（2）網(wǎng)絡(luò)帶寬Ct 的更新策略

在這一基于數(shù)據(jù)包對的帶寬測量算法中，采用max函數(shù)進行保守上限估計的策略具有特定的優(yōu)勢。其核心在于，假設(shè)在網(wǎng)絡(luò)容量相對穩(wěn)定的情況下，將任何新獲得的、更高的瞬時帶寬測量值視為對實際網(wǎng)絡(luò)容量更準(zhǔn)確的估計，能夠有效防止帶寬估計值被不當(dāng)?shù)氐凸馈?/p>

基于上述對網(wǎng)絡(luò)帶寬的精準(zhǔn)估計以及對隊列長度q(t)的實時預(yù)測，LDCC算法得以實現(xiàn)其關(guān)鍵性能——擁塞窗口的動態(tài)調(diào)整設(shè)計。該設(shè)計以擁塞信號q(t)為核心，并將隊列參考值Q定義為一條帶寬時延積（BDP），即Q=1×BDP。在實施擁塞窗口調(diào)整前，LDCC算法會對原始擁塞信號q(t)進行平滑處理，以消除一些噪聲和波動，確保控制決策的穩(wěn)定性和魯棒性。算法在擁塞窗口調(diào)整周期內(nèi)采用不對稱的調(diào)整策略，根據(jù)網(wǎng)絡(luò)狀態(tài)的差異，每一輪窗口加一或減窗，具體的減窗幅度由核心函數(shù)f(α)決定。

圖5　核心函數(shù)f(α)詳情

核心函數(shù)f(α)旨在將規(guī)范化后的擁塞信號α映射為擁塞窗口的減窗因子。其中，輸入的α∈[0,1]表示平滑后的隊列長度q(t)相對于隊列參考值Q的堆積程度。如圖5所示，相較于其他α、α、α2函數(shù)，LDCC算法采用的f(α)是一個高度非線性的函數(shù)，其關(guān)鍵特性是表現(xiàn)出對擁塞信號的極高敏感度。該函數(shù)被設(shè)計為閾值觸發(fā)式的策略：一旦α值超過一個預(yù)設(shè)的極小擁塞閾值αth，減窗因子f(α)即刻從0陡峭地上升并飽和到最大值1。通過在擁塞發(fā)生時快速執(zhí)行最大幅度減窗，f(α)有效地防止了瓶頸隊列的持續(xù)堆積，將排隊延遲嚴(yán)格控制在最低水平，這是LDCC算法的關(guān)鍵所在。

綜上所述，LDCC算法有效地克服了傳統(tǒng)擁塞控制機制對延遲變化的滯后性，實現(xiàn)了在最大化吞吐量的同時，將隊列延遲控制在較低水平，在用戶可接受的時間內(nèi)快速送達(dá)結(jié)果，避免卡頓和延遲。

3.2 云邊協(xié)同的細(xì)粒度分布式云渲染任務(wù)分配方法和資源調(diào)度技術(shù)

3.2.1 基于云邊協(xié)同的細(xì)粒度分布式云渲染任務(wù)分配算法

針對分布式云計算環(huán)境下多客戶端渲染任務(wù)分配以及滿足多用戶QoE要求的挑戰(zhàn)，我們提出了一種基于云邊協(xié)同的細(xì)粒度分布式云渲染任務(wù)分配算法[21,22]。該算法旨在兼顧系統(tǒng)容量的約束下，平衡渲染質(zhì)量、渲染速度與帶寬資源需求，實現(xiàn)渲染任務(wù)的精準(zhǔn)分配。

渲染任務(wù)分配算法的核心問題在于如何確定渲染等級，以實現(xiàn)資源的動態(tài)分配[23,24]。我們的創(chuàng)新點在于引入了渲染分級策略：渲染任務(wù)分配算法能夠根據(jù)物體的視覺重要性、距離等因素，將場景中的對象劃分為不同等級（任務(wù)優(yōu)先級），動態(tài)分配渲染資源，在保證視覺效果的前提下減少計算開銷。

表1展示了渲染任務(wù)分配算法如何通過優(yōu)化圖形處理器（GPU）計算和內(nèi)存資源的分配，以分等級策略實現(xiàn)高效實時渲染。

表1　分級對應(yīng)渲染策略示例

為在系統(tǒng)資源受限的條件下最大化整體渲染效用，本文將任務(wù)調(diào)度問題建模為一個混合整數(shù)二次約束優(yōu)化問題。優(yōu)化目標(biāo)是在綜合考慮任務(wù)權(quán)重與渲染質(zhì)量的前提下，通過合理選擇任務(wù)的渲染等級以及任務(wù)在各節(jié)點之間的分配方式，使系統(tǒng)獲得最大的總體渲染收益。在優(yōu)化過程中，需同時滿足QoE約束、系統(tǒng)容量約束以及客戶端資源約束。

首先，為保證用戶體驗，每一客戶端任務(wù)的端到端時延不得超過系統(tǒng)最大時延閾值。該時延由任務(wù)在節(jié)點上的計算處理時延、數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸時延以及與節(jié)點選擇相關(guān)的額外開銷共同構(gòu)成。其次，從系統(tǒng)整體角度出發(fā)，每個計算節(jié)點所承載的總渲染負(fù)載不得超過其可用資源上限，以避免節(jié)點過載，從而影響系統(tǒng)的穩(wěn)定性與服務(wù)質(zhì)量。該約束通過限制分配至各節(jié)點的任務(wù)渲染需求總量來實現(xiàn)。最后，從客戶端側(cè)資源可控性的角度考慮，客戶端與各節(jié)點間的鏈路資源有限，因此客戶端所分配到各節(jié)點的任務(wù)渲染負(fù)載同樣受到帶寬資源的限制，確保客戶端側(cè)的資源消耗可控。

通過將復(fù)雜的任務(wù)調(diào)度問題轉(zhuǎn)化為一個具有單約束的混合整數(shù)二次約束二次規(guī)劃問題進行快速求解，我們能夠確定最優(yōu)的渲染等級和分配決策，從而有效解決分布式云渲染環(huán)境下的任務(wù)分配難題。

3.2.2 5G實時渲染云平臺

如圖6所示，制片管理方在調(diào)用渲染任務(wù)分配算法的同時，依托5G實時渲染云平臺實現(xiàn)分布式渲染任務(wù)的調(diào)度與執(zhí)行。該平臺通過5G網(wǎng)絡(luò)與云渲染資源池建立通信連接，確保渲染任務(wù)的實時性與數(shù)據(jù)同步性[25]。為保障數(shù)據(jù)傳輸?shù)陌踩裕獠繑?shù)據(jù)在進入防火墻后被分流至兩條獨立的安全處理路徑：其一，經(jīng)由入侵防御系統(tǒng)（Intrusion Prevention System, IPS）進行深度流量檢測與惡意行為攔截；其二，通過堡壘機（Barricade Machine）實現(xiàn)不同安全域間的網(wǎng)絡(luò)物理隔離與受控數(shù)據(jù)交換。

圖6　5G實時渲染云平臺核心工作流程

經(jīng)安全驗證的數(shù)據(jù)流隨后被導(dǎo)向核心交換機，并進一步分發(fā)至管理設(shè)備區(qū)、存儲區(qū)及各類接入交換機。存儲接入交換機、業(yè)務(wù)接入交換機與運維接入交換機的流量都匯聚至高性能GPU渲染集群，以完成后續(xù)的實時渲染任務(wù)。

平臺采用私有化的低延遲高清傳輸（Low?Latency High?Definition Transmission）協(xié)議及會議級通信協(xié)議，以保障超低時延傳輸與數(shù)據(jù)穩(wěn)定性。在多機位（尤其10路以上高清信號）場景中，例如真人線下虛擬競技，平臺采用5G超級上行組網(wǎng)方案，通過上下行通道的時分雙工（Time Division Duplex, TDD）與頻分雙工（Frequency Division Duplex, FDD）協(xié)同機制，實現(xiàn)高頻段與低頻段的互補利用[26]。通過時域與頻域的聚合策略，充分發(fā)揮3.5 GHz頻段的大帶寬優(yōu)勢及FDD頻段低穿透損耗的特性，從而在提升帶寬的同時優(yōu)化網(wǎng)絡(luò)覆蓋能力，確保高清視頻流的穩(wěn)定上傳[27]。

5G實時渲染工作站基于獨享式高性能GPU云桌面架構(gòu)構(gòu)建，終端側(cè)通過5G網(wǎng)絡(luò)與服務(wù)器端建立通信連接。服務(wù)器端接收渲染任務(wù)后，經(jīng)實時渲染平臺調(diào)度并執(zhí)行，同時配備大容量云存儲空間以支持遠(yuǎn)程制作協(xié)同[28]。平臺默認(rèn)配置中高級安全策略基線，可根據(jù)實際需求進行定制化調(diào)整。用戶可通過終端瀏覽器直接訪問實時渲染工作站，或通過服務(wù)器/客戶機（C/S）進行交互操作。

該架構(gòu)通過多層次的網(wǎng)絡(luò)分層設(shè)計、安全機制與傳輸優(yōu)化策略，為大規(guī)模實時渲染任務(wù)提供了高效、安全且可擴展的計算平臺，為沉浸式內(nèi)容生產(chǎn)與分發(fā)提供了技術(shù)支撐。

3.3 平臺應(yīng)用實踐

本研究提出的超高清沉浸式視頻分布式云渲染平臺自2021年3月起已正式落地應(yīng)用于“藍(lán)海創(chuàng)意云”渲染平臺，該平臺在處理超大規(guī)模三維場景融合、16 bit位深圖像及4K分辨率畫面渲染時具備良好的穩(wěn)定性與高效性[29]。平臺系統(tǒng)構(gòu)建了基于混合整數(shù)二次約束二次規(guī)劃的云邊協(xié)同細(xì)粒度算力調(diào)度機制，根據(jù)視距和細(xì)節(jié)復(fù)雜度對渲染對象進行動態(tài)分級，同時，整合了STOP架構(gòu)及LDCC算法，利用強化學(xué)習(xí)動態(tài)調(diào)節(jié)擁塞窗口，并在網(wǎng)絡(luò)傳輸層提前篩除無法在截止期限內(nèi)到達(dá)的無效數(shù)據(jù)包，從機理上保障了公網(wǎng)帶寬的高效利用[30]。上述技術(shù)矩陣不僅實現(xiàn)了在超高清廣播級信號傳輸中視覺無損的高保真畫質(zhì)，也壓縮了端到端時延，帶來了強實時交互體驗。

在項目落地方面，該平臺已實現(xiàn)大規(guī)模商業(yè)化生產(chǎn)應(yīng)用。平臺深度參與了《哪吒之魔童鬧海》《封神第二部：戰(zhàn)火西岐》《流浪地球2》等國產(chǎn)電影項目的視效渲染與虛擬攝制，在復(fù)雜影視生產(chǎn)環(huán)境下充分驗證了該技術(shù)的應(yīng)用效能與工業(yè)化成熟度。云渲染平臺為虛擬演播與超高清內(nèi)容產(chǎn)業(yè)提供了堅實的技術(shù)支撐，其技術(shù)成果也獲得了行業(yè)的廣泛認(rèn)可。該技術(shù)于2025年9月榮獲中國電影電視技術(shù)學(xué)會科技進步獎一等獎，充分體現(xiàn)了其在超高清沉浸式視頻云邊協(xié)同全產(chǎn)業(yè)鏈中的行業(yè)示范效應(yīng)與推廣價值。

4

結(jié)語

本研究圍繞超高清沉浸式視頻實時云渲染的關(guān)鍵需求，針對高算力消耗與低時延傳輸間的矛盾，提出了“云端算力協(xié)同-邊緣節(jié)點調(diào)度-實時渲染與傳輸優(yōu)化”的整體技術(shù)框架。研究結(jié)果表明，該框架在保證視頻畫質(zhì)與沉浸體驗的前提下，顯著降低了端到端傳輸時延，并提升了資源利用效率。這說明通過云邊協(xié)同與算法級優(yōu)化，可有效緩解實時渲染系統(tǒng)中“算力-帶寬-時延”的多重約束問題，為影視制作、虛擬現(xiàn)實及專業(yè)可視化等領(lǐng)域提供穩(wěn)定技術(shù)支撐。本研究不僅有助于降低影視工業(yè)化生產(chǎn)成本，還為分布式渲染系統(tǒng)的工程化落地提供了參考范式。未來，隨著5G/6G網(wǎng)絡(luò)的發(fā)展，實時云渲染將向更低時延與更高智能發(fā)展演進，可重點探索基于AI的輕量化渲染算法與計算資源的動態(tài)優(yōu)化配置。同時，多技術(shù)融合有望推動沉浸式交互模式革新，進一步拓展全感官體驗與智能協(xié)同制作的新應(yīng)用場景。

參考文獻

（向下滑動閱讀）

[1] GONG W, YAN J, NAN X, et al. Joint optimization of routing and VM resource allocation for multimedia cloud[J]. Multimedia Systems, 2019, 25(4): 355?369.

[2] DING C, ZHOU A, LIU Y, et al. A cloud?edge collaboration framework for cognitive service[J]. IEEE Transactions on Cloud Computing, 2022, 10(3): 1489?1499.

[3] 夏元清, 王晁, 高潤澤, 等. 云網(wǎng)邊端協(xié)同云控制研究進展及挑戰(zhàn)[J]. 信息與控制, 2024, 53(3): 273?286.

[4] YE Y, HE Y, XIU X. Manipulating ultra?high definition video traffic[J]. IEEE Multimedia, 2015, 22(3): 73?81.

[5] ZHANG Y, ZHANG W, PU L, et al. To distill or not to distill: toward fast, accurate, and communication?efficient federated distillation learning[J]. IEEE Internet of Things Journal, 2024, 11(6): 10040?10053.

[6] KAELBLING L P, LITTMAN M L, MOORE A W. Reinforcement learning: a survey[J]. Journal of Artificial Intelligence Research, 1996, 4: 237?285.

[7] SREDOJEV B, SAMARDZIJA D, POSARAC D. WebRTC technology overview and signaling solution design and implementation[C]//2015 38th International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), 2015: 1006?1009.

[8] ALOMAN A, ISPAS A I, CIOTIRNAE P, et al. Performance evaluation of video streaming using MPEG DASH, RTSP, and RTMP in mobile networks[C]//2015 8th IFIP Wireless and Mobile Networking Conference (WMNC), 2015: 144?151.

[9] SUI L, FU J, YANG X. Forward error correction[C]//2012 Fourth International Conference on Computational and Information Sciences, 2012: 37?40.

[10] SANI Y, MAUTHE A, EDWARDS C. Adaptive bitrate selection: a survey[J]. IEEE Communications Surveys and Tutorials, 2017, 19(4): 2985?3014.

[11] DOMEKE A, CIMOLI B, MONROY I T. Integration of network slicing and machine learning into edge networks for low?latency services in 5G and beyond systems[J]. Applied Sciences, 2022, 12(13): 6617.

[12] ZHANG Y, PU L, LIN T, et al. QoE?oriented mobile virtual reality game in distributed edge networks[J]. IEEE Transactions on Multimedia, 2023, 25: 9132?9146.

[13] 許婭男, 趙桂丹, 馮大權(quán), 等. 邊云協(xié)同驅(qū)動的沉浸式Web3D[J]. 電信科學(xué), 2024, 40(9): 123?135.

[14] HARRIS M J, LASTRA A. Real?time cloud rendering[J]. Computer Graphics Forum, 2001, 20(3): 76?85.

[15] 楊春輝, 孫鵬, 程凱. 基于5G技術(shù)的動車組車載數(shù)據(jù)傳輸及監(jiān)控系統(tǒng)研究[J]. 鐵路計算機應(yīng)用, 2021, 30(5): 23?25, 36.

[16] TANG X, XU Y, OUYANG F, et al. A cloud?edge collaborative gaming framework using AI?powered foveated rendering and super resolution[J]. International Journal on Semantic Web and Information Systems (IJSWIS),2023,19(1): 1?19.

[17] STENGEL M, MAJERCIK Z, BOUDAOUD B, et al. A distributed, decoupled system for losslessly streaming dynamic light probes to thin clients[C]//Proceedings of the 12th ACM Multimedia Systems Conference, 2021: 159?172.

[18] HU Y, GONG R, SUN Q, et al. Low latency point cloud rendering with learned splatting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 5752?5761.

[19] LIAO R, ZHANG Y, YAN J, et al. STOP: joint send buffer and transmission control for user?perceived deadline guarantee via curriculum guided?deep reinforcement learning[J]. Journal of Network and Computer Applications, 2024, 221: 103787.

[20] 徐文莉. 分布式渲染調(diào)度策略優(yōu)化研究與實現(xiàn)[J]. 軟件導(dǎo)刊, 2010, 9(2): 10?12.

[21] LI L, HUANG Y, QIAO X, et al. Toward distributed collaborative rendering service for immersive mobile web[J]. IEEE Network, 2024, 38(3): 137?145.

[22] 楊艷芳,高居建,王奇,等.面向復(fù)雜生產(chǎn)場景的數(shù)字孿生模型分布式渲染方法[J].計算機集成制造系統(tǒng),2023,29(06):1811?1823.

[23] 徐翔, 吳小龍, 陳子凌, 等. 大規(guī)模三維場景光線追蹤渲染方法綜述[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2024, 36(8): 1155?1170.

[24] ZHANG W, JING Y, ZHANG Y, et al. Retina?U: a two?level real?time analytics framework for UHD live video streaming[J]. IEEE Transactions on Broadcasting, 2024, 70(2): 429?440.

[25] 張林, 黃靜, 全偉, 等. 5G+AI云渲染技術(shù)在外場轉(zhuǎn)播中的探索應(yīng)用[J]. 現(xiàn)代電視技術(shù), 2024(7): 44?48.

[26] POVEY G J R, NAKAGAWA M. A review of time division duplex?CDMA techniques[C]//1998 IEEE 5th International Symposium on Spread Spectrum Techniques and Applications - Proceedings. Spread Technology to Africa (Cat. No.98TH8333): Vol. 2, 1998: 630?633.

[27] PHAN-HUY D T, BEN HALIMA S, HELARD M. Frequency division duplex time reversal[C]//2011 IEEE Global Telecommunications Conference - GLOBECOM 2011, 2011: 1?5.

[28] KIM Y, CHOI Y, LEE Y C, et al. E?render: enabling UHD?quality cloud gaming through edge rendering[J]. IEEE Access, 2022, 10: 72107?72119.

[29] KE Y, YANG Y, MA X Y, et al. Research on Cloud Compression Codec Technology for Remote Production[J]. International Journal of Digital Multimedia Broadcasting, 2025, 2025: 5589525.

[30] CHEN Y, YAN J, CAI Y, et al. Low Delay Congestion Control for the Internet[C]//2025 IEEE/ACM 33rd International Symposium on Quality of Service (IWQoS), Gold Coast, Australia, 2025: 1-10.

特別報道 | 2026年電影科技發(fā)展創(chuàng)新座談會在無錫成功舉辦

期刊導(dǎo)讀 |《現(xiàn)代電影技術(shù)》2026年第5期

王嵐君等：面向影視創(chuàng)作的AIGC可控生成與溯源技術(shù)進展研究