![]()
讓 AI 生成純正的中國音樂,為什么這么難?
作者|Cynthia
編輯|鄭玄
歌歌 AI 創始人龍勇,或許是全中文 AI 產品圈里,最會整活兒,也最懂網絡沖浪的 CEO。
如果你對這個名字不熟悉,沒關系,你總該看過《中國好聲音》《中國有嘻哈》,擁有 20 年音樂制作經驗的龍勇,是這兩檔節目的官方合作伙伴,還是電視劇《北京青年》的插曲創作者。
這些都沒聽過?
那你一定聽過在 B 站傳播千萬甚至上億的魔性神曲《大香蕉》,不僅歌本身的傳播度高,龍勇隨手發個視頻,只要標題帶上《大香蕉》三個字,就有動輒幾萬甚至上百萬的播放,最火一條,播放量甚至高達 553.8 萬,沖上 B 站熱門。
![]()
當然,神曲只是個意外,龍勇早在七八歲開始就抱著磁帶學吉他,后來還開過連鎖琴行,也因為各種音樂創作上的成績,在圈子里小有名氣。
但 2018 年,他決定把這些都放下。
去做 AI 音樂,去做一款面向普通人、也能讓創作者賺到錢的 AI 音樂創作產品。于是,歌歌 AI 就這樣誕生了。
01
從零開始,做真正懂中文的 AI 音樂模型
事實上,歌歌 AI 團隊創業了整整五年后,直到 2023 年,AI 音樂創作才真正迎來了爆發式增長。
彼時 Suno、Udio 等海外 AI 音樂工具橫空出世,震動全球音樂行業。從英文流行樂到韓式 K-pop,AI 均可生成水準成熟的商用音樂作品。
但視角轉回華語樂壇,事情開始變得有些不對味:這類依托英文語料訓練的模型,多數情況下,其實根本聽不懂中文。例如 AI 常會讀錯歌詞生僻字、詞語,歌詞斷句錯亂;與此同時,AI 生成音樂,會人聲機械僵硬、情感單薄空洞,對于國風、華語流行、民謠等國內主流曲風適配性極差,這類行業痛點也早已是老生常談。
種種問題的根源,在于很多 AI 音樂產品在模型訓練上走了捷徑。
主流通用 AI 音樂模型的訓練路徑是:先依托海量英文曲目訓練通用模型,再投喂少量中文曲庫完成微調。但問題在于,華語的聲調規律、音節邊界、字音對齊邏輯與英語有根本性差異。僅靠少量中文數據微調,就像讓母語為英語的人突擊學習中文,即便沒有西式口音,也無法擺脫英文本身帶來的思考習慣。
為了解決這個問題,歌歌 AI 選擇了一條更艱難的路:自 2022 年就從零開始,訓練一個只喂中文音樂的音樂大模型。
首先,他們訓練了一個音頻壓縮與重建的基礎感知模型(VAE),這相當于讓 AI 學會「聽」,能理解聲音的基本結構。在此基礎上,他們還構建了一個十億級參數規模的擴散主干模型,全部基于全授權華語曲庫從零預訓練,讓 AI 從出生那天起,就在中文音樂的語境里長大。
歌歌 AI 生成音樂:篝火邊的月亮,人聲清晰,中文表達準確
但光有模型還不夠。真正的難點在于:讓 AI 理解韻味。
在 AI 領域,這叫對齊問題。模型不僅要學會生成正確的音符,還要學會生成中國人聽起來對的味道。歌歌 AI 的解決方案是:以華語聽眾的實際審美偏好為標準,對模型進行「DPO」(Direct Preference Optimization),即偏好對齊優化。
歌歌AI 生成音樂《慢半拍》,人聲清晰,中文表達準確
最終的模型架構上,歌歌 AI 音樂模型采用了端到端擴散生成為主、歌聲合成為輔的混合架構。人聲與伴奏各走獨立的生成通路(雙流設計),兩條通路之間通過跨流注意力機制完成節奏與和聲的精準對齊。如此一來,人聲與伴奏不再是簡單疊加混合,中文歌詞的清晰與準確也就有了保障。
02
10 秒生成一首歌,
AI 音樂進入普惠時代
技術跑通了,接下來要解決的是一個更根本的問題:如何讓這套技術真正服務于行業?
團隊很快意識到,AI 音樂行業面臨的雙重困境:成本太高,以及創作者賺不到錢。事實上,這也是一枚硬幣的兩面。
降低成本是第一步。
傳統 AI 音樂生成一首 3 分鐘歌曲,可能需要數分鐘甚至更長時間,在 C 端場景里,很少有用戶會有如此耐心。
為此,歌歌 AI 采用了一種叫「非自回歸并行生成」的架構。簡單來說,就是全曲的潛在表示可以并行去噪,而非過去耗時耗力的逐 token 順序推理。配合流匹配少步采樣(標準 8 步,蒸餾版可壓縮至 1 至 4 步)、模型量化加速等技術優化,在單張 H 系列 GPU 上,實時率(RTF)可以做到 0.05,也就是約 10 秒即可生成一首 3 分鐘歌曲。
![]()
這個速度不僅比行業普遍水平快了二十倍以上。還能通過搭配用戶端的分塊續寫機制,用戶完全無需等待全曲生成完畢即可開始收聽,實現流暢的漸進播放體驗。
整體的推理時間與需要的資源少了,成本自然也就更低了,這也意味著,即便是普通用戶,也可以用極低的價格甚至免費使用 AI 音樂創作工具。
03
聯動字節,
補上音樂創作
走向普通年輕人的最后一塊拼圖
技術降低了門檻,但如果創作者仍然賺不到錢,整個生態就無法真正建立起來。
極客公園獨家獲悉,伴隨模型正式落地,歌歌 AI 目前已經與字節跳動達成非獨家版權分成合作。全量音樂——原創歌曲、錄音制品、MV 版權內容——全部合規上架汽水音樂、番茄暢聽、番茄音樂、抖音、剪映、西瓜視頻、今日頭條等全字節產品矩陣。
![]()
這是一條完整的商業鏈路:抖音、剪映擁有億級別的創作者生態。這些創作者每天制作海量的短視頻內容,對背景音樂的需求是海量的。過去,他們只能從版權音樂庫里挑選有限的曲目;現在,他們可以直接使用歌歌 AI 創作者所創作的版權音樂去制作視頻配樂、直播背景音樂、翻唱二創。
而歌曲在汽水音樂會員付費、數字專輯、單曲售賣、平臺廣告分成,以及番茄系平臺有效播放產生的收益,也可以讓創作者按照合同約定進行分成結算。
至此,創作者使用 AI 工具生成音樂 → 內容在抖音、剪映被用作配樂、二創 → 歌曲在汽水音樂被收聽 → 收益按分成結算返還給創作者,一個關于 AI 音樂從創作到變現的完整閉環正式完成,普通人也能參與其中。
在歌歌 AI 平臺,一個內蒙古的寶媽,從沒學過樂理,去年開始用歌歌 AI 創作歌曲。她寫的《風知道我的傾訴》在抖音獲得 30 萬點贊,最高一天播放量超過 100 萬次。按照字節的分成規則,這首歌最多時每天為她帶來約 4000 元的版稅收入。
這樣的案例不是孤例。平臺數據顯示,當前歌歌 AI 月活已經達到百萬上下,其中付費用戶也接近十萬。并且,平臺已有超過 15000 名創作者成功結算了歌曲版稅收益,單年版稅超過 10 萬的頭部創作者不在少數,對接 MCN 機構的 B 端用戶預估年收入能達到三四百萬。
04
把錄音機背進黃土高坡
技術和商業閉環都跑通之后,歌歌 AI 團隊開始思考一個問題:AI 音樂的意義,到底是什么?
是取代人類創作者嗎?顯然不是。
是讓每個人都能輕松創作屬于自己的歌,是公司成立時就寫下的 slogan。但團隊很快意識到,僅僅能創作還不夠,還要創作有格調的東西。
他們把目光投向了民樂。
過去十多年,在大銀幕上,從《戀愛通告》里民樂作為校園中清新卻邊緣的注腳,到《閃光少女》用青春熱血包裹著民樂被偏見裹挾的困境,從《百鳥朝鳳》中黃土高原上的嗩吶,再到今年爆火的《主角》里傳統秦腔隨時代沉浮的命運……
十多年來民樂從未在大銀幕與電視熒屏上缺席,但也一直由于傳承的難度過高、無法吸引年輕人,被寫進各種「非遺保護」的官方文件里,與現實生活脫節。
AI 可以降低創作與傳承的成本,與字節系的合作,也可以讓民樂更好的走進普通人的生活。
但 AI 傳承民樂沒有想象的那么簡單。拿最簡單的音律體系來說:中國傳統音樂以「宮商角徵羽」五聲音階為基礎,Fa 和 ti 基本不出現,使得聽感更平和婉轉,表現力主要依靠滑音、揉音、顫音等裝飾音來加韻。而西方音樂普及十二平均律,七聲音階中的半音關系天然帶有張力,加上成熟的轉調技術,旋律可通過調性切換制造強烈的情緒起伏。如何讓 AI 理解這種韻味以及中國傳統樂器的特色。
這個問題無法靠算法解決,只能靠最笨的方式,實地采風。
接下來的幾個月,采風團隊將專業錄音設備背進了大江南北,找到那些堅守傳統的非遺傳承人、民間老藝人,記錄那些口口相傳了幾百年的民間小調、戲曲選段:去陜西的老戲臺,聽秦腔老藝人的高亢唱腔;去江南的水鄉,錄評彈琵琶的婉轉悠揚;去云南的村寨,采葫蘆絲和蘆笙的清新靈動;去陜北的黃土高坡,聽嗩吶吹出的悲歡離合。
所有這些一手采集的聲音,最終都要完成正版版權歸檔,作為獨家訓練數據,專門用于優化民樂生成能力。基于現有的自研大模型,團隊正在訓練一個專門理解和生成民樂的子模型,讓 AI 能精準還原每一種樂器的音色、每一種唱腔的韻味。
在這個過程中,AI 或許永遠無法超越真正的人類大師,但這不意味著 AI 沒有價值,它讓更多人有機會接觸和創作民樂。
如果一個從沒學過樂理的年輕人,能夠用 AI 生成一段古箏曲子,感受到民樂的韻味,然后因為這段旋律去搜索古箏是什么、評彈怎么來的,那一刻,AI 播下的種子,才真正開始發芽。
*頭圖來源:歌歌 AI
本文為極客公園原創文章,轉載請聯系極客君微信 geekparkGO
極客一問
你會使用 AI 生成音樂嗎?
![]()
![]()
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.