吳新宙談英偉達B面：GPU并非無限供應，智駕團隊靠優先級爭算力

“英偉達不賭誰能贏，它只給所有車企賣鏟子，再從每一英里的自動駕駛中抽成。”

作者丨魏溶

編輯丨包永剛

“我們不是去押注誰贏，”英偉達自動駕駛中國團隊負責人吳新宙近日接受The Verge采訪，在播客節目《Decoder》訪談中這樣定義英偉達的角色，“我們是在根據OEM的能力在不同層面幫助它們。”

這句話概括了英偉達在汽車行業的核心策略：不做贏家的賭徒，做所有人的工具供應商。

這套策略背后，藏著一筆萬億美元的賬。吳新宙給出的市場邏輯很直接：全球汽車每年跑13萬億英里，目前自動駕駛占比約0.006%。

“我們希望從未來自動駕駛的每一英里中，從整個生態系統所創造的價值里分到一部分，”他說，“這就是那個萬億美元機會的來源。”

但要吃到這塊蛋糕，首先得讓車企愿意上車。英偉達的辦法是：不做封閉系統，做開放平臺。從芯片、操作系統到開源模型、傳感器方案，OEM可以只取所需。

有些車企具有很強的OEM能力，可以自己寫算法；有些企業則更傾向于交鑰匙的方案，英偉達同樣可以提供。“甚至有車企想用自己的推理芯片，我們照樣合作。”

但問題是，車企為什么要上英偉達這趟車？答案也很簡單：省錢。數據是自動駕駛的燃料，但采集數據的成本極其高昂。吳新宙直言，要養一支龐大的車隊去采集數據，對任何公司來說都是巨大的資本投入。

英偉達通過Hyperion生態系統匯聚各OEM的數據，目前已積累數百萬小時真實駕駛數據，再通過合成數據和神經重建技術生成數以千萬計的變體，所有生態參與者都能共享。

“省下來的成本非常可觀，”吳新宙直言。這是車企愿意跟競爭對手共享數據的核心動機——這并非行業共命運的理想主義，而是一筆實實在在的經濟賬。

但另一方面，即便車企愿意和英偉達合作，英偉達自己也得先解決一個內部難題：算力緊缺。外界外界普遍認為英偉達作為全球GPU龍頭，內部產能想必相當充裕。

實際上，吳新宙坦言：“哪怕是英偉達，用于計算的GPU供應也是有限的。我們有內部的優先級分配……有時候也需要黃仁勛出面來協調。”

汽車團隊必須與如日中天的數據中心業務爭奪產能和算力，甚至需要CEO親自介入。

如果說成本、產能是英偉達和車企要去解決的問題，那么涉及到安全層面，或許是用戶和買家更加關心的部分。英偉達的技術方案有兩個關鍵設計：一是延遲控制。傳統多組件技術棧需要幾百毫秒，端到端模型一次推理就能輸出軌跡，“即使在當前這一代，我們也能控制在100毫秒以內。”

二是安全兜底。端到端模型與傳統技術棧并行運行，后者“在每一幀都試圖驗證端到端模型生成的所有軌跡，并用已知的安全標準來檢驗是否安全。”每個模型發布前，團隊每天跑約500萬次仿真測試。”

吳新宙還透露，英偉達下一代自動駕駛模型將嵌入語言推理能力，車輛在行駛中可實時用自然語言解釋自身決策邏輯。這一機制已在GTC大會上公開展示，搭載Alpamayo模型的車輛在行駛中會持續輸出類似“我的車道有一輛雙排停放的車，我正在繞過它”的實時推理。

這樣的技術選擇，也回應了行業里對特斯拉純視覺方案的討論。吳新宙罕見公開評價了競爭對手：“在基礎的L2++技術層面，Elon（馬斯克）很可能領先所有人。在ADAS市場上，Elon領先于大家這一點應該沒人質疑。”

但吳新宙隨即強調，L2領先不代表L4能贏。他明確表示激光雷達對L4安全冗余“仍屬必要”，純視覺方案在更高階應用中存在局限。

既然如此，L4的普及時代究竟什么時候會來呢？吳新宙給出了對L4規模化落地的時間判斷：“如果要給個具體時間，我不會說五年整，但也不會超過五年。”

至于業界對中國是否會率先實現L4的猜測，吳新宙給出了否定判斷。他認為Waymo在舊金山已驗證了無安全員的L4商業運營，中國也有同等成熟度的車企。

“目前在美國和中國，都有車企真正證明了L4可以在城市規模的區域內、沒有安全員、不受限制地為每一位乘客安全部署。”誰先撞線，尚未可知。

有一點或許是清晰的——英偉達正在把賭注壓在整個行業桌上。目前，英偉達已與全球約80%的量產OEM建立L4生態合作，ADAS技術將于今年年底率先在美國梅賽德斯車型上推出。

01

吳新宙對話全文要點

• 英偉達不打算押注單一車企，而是向全行業開放分層技術，OEM按需取用。

• 數百萬小時真實駕駛數據+合成數據變體共享，幫車企省下巨額采集成本。

• 英偉達端到端模型延遲控制在100毫秒，傳統技術棧做安全護欄。

• 吳新宙認為特斯拉L2++確實領先，但L4純視覺方案“存在局限”，激光雷達仍屬必要。

• 吳新宙談L4規模化落地就在五年內，中美并列第一梯隊。

02

對話譯文（節選）

以下是對話譯文（節選），為方便閱讀，雷峰網在不改變原意的基礎上，對內容進行翻譯和編輯。

• Nilay Patel | The Verge 總編輯、Decoder節目主持人

• 吳新宙 | 英偉達自動駕駛中國團隊負責人

Nilay Patel：很高興和你對話。我覺得現在“車到底是什么”這件事，整個都在被重新定義。整個汽車行業正在經歷一場大洗牌，在自動駕駛和電動化這條漫長又曲折的路上，你覺得汽車行業現在到底走到哪一步了？

吳新宙：這是個好問題。我在汽車行業工作了差不多15年，最早是在高通，我負責過高通汽車團隊一段時間。“Software-defined vehicle（下簡稱為SDV）”這個概念，大家已經耳熟能詳了。現在隨著AI技術的發展，這個概念又向前演進了一步，進入了我們所說的“AI-defined vehicle（下簡稱為AIDC）”的階段。

過去十年間，得益于這些大規模的技術創新，汽車行業發生了相當快速的變化。如你所知，我也曾在一家中國OEM（原始設備制造商）工作了五年，負責他們的自動駕駛團隊。

現在我來到英偉達。回顧這15年的職業生涯，我有幸見證了這場巨大的變革。汽車從最初以機械為主、加上電機的形態，逐步演變為可以通過OTA（空中升級）來快速更新功能的智能終端，這就是SDV的時代。如今，隨著技術向生成式AI方向邁進，我們正利用AI來重寫汽車中的大部分軟件，這也正是我們稱之為“AIDV”的原因。

這一轉變，一方面加速了車輛功能的迭代速度，另一方面也重塑了我們對于“汽車”這一產品的定義。AI正在深刻影響行業的每一個層面。面對這些新技術所帶來的演進，未來的發展前景確實令人期待。

Nilay Patel：你覺得整個行業會普遍轉向SDV，還是傳統車企會繼續維持現狀？

吳新宙：百分之百。我有幸親眼目睹了2018年到2023年間中國發生的變化。短短五年，整個行業經歷了一次巨大的轉型。在那段時間里，不僅是新勢力車企，傳統車企也必須做出改變。大家都在向單一中央計算的電子電氣架構靠攏，因為這是保持競爭力的必要條件。

在世界上其他地區也是如此——我們通過與梅賽德斯等合作伙伴的Drive和Drive自動駕駛合作項目，也在推進類似的方向。梅賽德斯當前這一代車型已經采用了基于中央計算機的架構，接下來會覆蓋他們所有車型。對于其他主流OEM，我們也都在合作，幫助他們把架構往一臺或兩臺計算機的方向升級，因為這里面會涉及信息娛樂系統，也會涉及基礎駕駛或高級駕駛輔助系統（ADAS）、ECU等。但我認為整個行業實際上正在相當快速地朝這個方向前進。

當然，有的廠商會慢一些，有的會快一些，這就是行業的常態。但我毫不懷疑，全球汽車行業基本上都在朝著這個方向演進。

Nilay Patel：其實我挺好奇你的經歷的。你之前在小鵬汽車工作過，我作為一個在美國待了很久的車迷，感覺中國車企有一個很獨特的優勢。它們不用操心美國傳統車企需要操心的一大堆問題。再加上中國政府在這方面給了很大的補貼。你的感受是這樣嗎？是不是基本上就是因為有了這樣一個重新起步的機會？

吳新宙：我覺得那只是其中的一面。它們的包袱確實更輕，少了很多需要操心的事，這當然是個優勢。但我看到的另一個現象是，在中國，不僅是新勢力車企，就連那些全球性的大廠也必須去適應中國的那種節奏。至少從我了解到的情況來看，大家都是以那個節奏在跑。說到底，你要想參與競爭，就得跟上。

不過就像你說的，這一波浪潮……SDV這個概念已經提了很久了，真正把它做到大規模量產的，還是特斯拉。我不確定它們是不是第一個，但論規模和程度，絕對是最極致的。我相信世界其他地區的OEM最終也會跟上來。

我覺得現在每家OEM都得往這個方向走，因為這是競爭的方式，也是生存的需要。自動駕駛會逐漸成為所有車企必須具備的能力，大家都相信這個未來。而要走到那一步，首先得有我之前說的那種架構，這樣才能在不需要大量分散ECU的情況下實現軟件升級。說實話，最近我好像沒聽到誰還在反對這個方向了，可能你聽到的不一樣，但在我看來，這已經是大家必須邁出的一步。到了這個階段，這幾乎就是下一代架構的入場券。我們確實在跟很多OEM溝通，但行業向這個方向走，已經是一個共識了。

Nilay Patel：通往這個大家公認的未來汽車形態的路，比我預想的要難，也比過去五年上過節目的任何嘉賓說的要難。我想聽聽你的看法——你是供應商，你在推銷這個愿景，你在努力把芯片裝進每一輛車。從你的角度來看，到底是什么讓這條路變得這么難走？

吳新宙：你提到了好幾個方面。汽車行業體量很大，涉及龐大的供應鏈，牽涉大量公司和員工。每次在架構上做改動，每推出一款新車，你都得保障它十年到十五年的生命周期。英偉達作為供應商，對我們提供的任何技術，無論是芯片組、其他平臺還是自動駕駛技術，也都向客戶做出同樣的承諾，同一代產品要支持十年到十五年，哪怕是最新一代芯片也是這樣。從硅谷供應商的角度來看，這幾乎不可理喻，但這就是汽車行業的本質。這個行業的本質決定了它會拖慢節奏。這是第一點。

第二點，技術的變化太快了，而且跟我們以前理解的那個汽車行業已經大不相同，要想轉向SDV、AIDV，你需要來自不同領域的人才來搭建公司，去適應這一波新的技術變革。這也正是英偉達可以介入的地方。因為我們相信，技術已經發展到了一定成熟度——我們這里主要講的是自動駕駛——已經可以推向大規模量產了，這時候供應商就可以進來發揮作用了。

所以我們不僅僅是提供自動駕駛技術，而是提供從芯片到操作系統、開源模型，再加上我們稱之為Halos的安全操作系統在內的整個平臺，幫助OEM更快地適應這個新世界。這個行業就是這樣，不是每家廠商都能跑一樣快。所以說，由于行業體量大、包袱重，大家要跑到終點肯定需要時間。但我在英偉達的工作，就是盡可能幫助每一個向自動駕駛邁進的公司，盡快把這個愿景變成現實。

Nilay Patel：英偉達生產出來的每一塊GPU基本上都已經被預訂了，這就是現在AI行業的現狀。這些芯片都會流向某個地方的NeoCloud。那你要跟那條業務線去搶資源和關注度嗎？那條業務增長的規模和速度你也看到了。

吳新宙：是的，說出來你可能不信。（笑）哪怕是英偉達，用于計算的GPU供應也是有限的。我們有內部的優先級分配，我基本上每周都要和同事們碰，商量怎么劃分不同的計算資源，有時候是用于訓練，有時候是用于測試，或者分配給公司里其他不同方向的工作。有時候我們也需要黃仁勛出面來協調，但大概就是這么個情況。

Nilay Patel：具體是怎么操作的？那種爭論是什么樣的？是算ROI（投資回報率）嗎，比如“投入多少錢，能從客戶那里賺回多少錢”？還是看市場規模？討論的時候主要考量哪些因素？

吳新宙：以上都有，如你所料。收入顯然很重要，但英偉達也是一家很有戰略眼光的公司，你應該也了解。我們重視黃仁勛有時所說的“零萬億美元業務”。我們一直在尋找能夠創造萬億美元業務的新機會。所以公司內部在探索新方向時，會設定一些戰略優先級。你可能也知道，我們不是一家盯著市場份額的公司。我們衡量的，是如何在眼下的收入和未來的機會之間找到一個平衡點。

Nilay Patel：英偉達這家公司的運營方式很特別。你剛才也提到，黃仁勛什么事都深度參與。我看過他一個采訪，他說他不搞一對一會議，而是把大家聚在一起，直接當面把問題爭論清楚。那是一種什么樣的體驗？

吳新宙：我在英偉達三年了。說實話，非常獨特。當然也不是說所有人同時在一起，而是分不同的小組。我們每個組都會有技術策略和產品的評審會，跟黃仁勛一起討論。對我來說這其實挺讓人興奮的，能學到他的戰略思維，看他怎么想產品、怎么定策略。他技術上的深度也很少見，光是看他怎么一直緊跟技術最前沿，就已經很有啟發了。我覺得能跟黃仁勛學習，對我來說是一生一次的經歷和機會。

Nilay Patel：你剛才描述自動駕駛的機會，尤其是未來的機會，聽起來像是一個很大的賭注。“我們要把英偉達的計算優勢和AI能力帶到汽車上，讓它們自己開駕駛。”那收入模式是什么樣的？就是單純向車企賣芯片和軟件嗎？還是消費者付訂閱費，然后有一部分流回到你們這里？那“萬億美元的機會”到底從哪里來？

吳新宙：這也是一個很好的問題。我們堅信，未來所有能移動的載具都會實現自動駕駛。將來汽車跑的每一英里，都應該是自動駕駛的。你可以算一下，全球汽車每年要跑13萬億英里，而現在這里面自動駕駛的占比幾乎可以忽略不計，我記得大概是0.006%的樣子。所以擺在我們面前的機會是巨大的。英偉達的想法是，通過提供全套基礎技術來幫助整個生態系統盡快實現這個目標，還是從芯片到操作系統，再到我們所說的Halos。Halos這套操作系統很重要，因為它不僅提供了SDK和API，讓大家可以在我們的硬件上開發模型，還為開發者部署模型提供了安全方面的保障和約束。

我們還定義了我們稱之為Hyperion的硬件平臺。那是一個可量產的平臺，包括計算資源、ECU，以及傳感器套件。我們認為要達到不同級別的自動駕駛，這樣的配置是必要的。在這之上，我們還提供了Alpamayo，這是我們自己訓練的一個開源模型。說它是開源，不光是模型架構開源，參數和數據也開源，你可以拿它在我們平臺上做微調。再往上，我們還提供所有需要的基礎設施，比如仿真，這在當前自動駕駛開發中非常重要。我們現在常說，自動駕駛已經變成了一個“三計算機”問題：訓練計算機、仿真計算機，車上的推理計算機。所有這些技術組件，我們都希望通過Nvidia Drive這個平臺提供給整個生態系統，讓大家能在我們的平臺上開發自己的技術。

我們希望從未來自動駕駛的每一英里中，從整個生態系統所創造的價值里分到一部分——這就是那個萬億美元機會的來源。

Nilay Patel：過去五年電動化推進的過程中，有一個挺有意思的現象。傳統車企發現自己已經變成了保險公司和金融公司，真正的造車工作其實都是供應商在做。現在看自動駕駛這個方向，英偉達顯然看到了一個機會，想成為眾多車企的主要供應商。但這正好跟車企們“我們要掌控汽車”的想法撞上了。那這個局面怎么協調？因為不是每家車企都有能力去押注技術，在收入還不確定的情況下做前瞻性投入。它們可能需要英偉達這樣的供應商，提供一套現成的平臺和商業模式。現在是更偏向你們了嗎？這個階段已經過去了，還是說現在還沒有定論？

吳新宙：英偉達汽車業務模式的好處在于，我們的平臺是完全開放的。我們提供多層的服務，OEM或者機器人公司根據自己的需要，可以選擇跟我們合作到哪一層。你剛提到特斯拉，有些OEM能力很強，甚至想用自己的推理芯片來做車內推斷，這種我們也能接受，照樣合作。實際上我們現在跟特斯拉以及很多用自研芯片的OEM也在云端有合作，甚至會幫它們優化模型。不同OEM合作方式不同，我們在基礎設施層面，包括仿真和訓練計算這塊，跟它們都有合作。

有些OEM想要更交鑰匙的方案，我們也樂意配合，那就一路做到位，等于以一個1級或者1.5級供應商的身份跟它們一起走。比如我們的自動駕駛合作伙伴梅賽德斯就是這樣，我們跟它們緊密合作，定義它們想要的產品，然后調整我們的自動駕駛技術棧，使其在他們的車輛上上能無縫運行。雙方的工程師配合很緊密，確保這套系統能很好地匹配梅賽德斯的設計理念和它們想提供的用戶體驗。

這對我們來說非常重要。我們不是去押注誰贏。我們是在根據OEM的能力在不同層面幫助它們。這種開放性是我們在OEM合作中特別重視的。

Nilay Patel：你剛才提到了訓練模型，在其他采訪里你也講過用合成數據來訓練自動駕駛。特斯拉的數據量也很大，因為他們直接用路上跑的車在訓練。但不是每家車企都能找到辦法跑出十億英里的自動駕駛里程。那它們最終多少得靠第三方，至少幫它們追到行業平均水平，甚至更進一步。英偉達現在就在那兒等著做這個第三方。這是你們跟車企推銷時一個很重要的點嗎？

吳新宙：我覺得這是OEM愿意跟英偉達的Hyperion生態系統、Drive生態系統合作的一個很有說服力的理由。因為Hyperion的一個關鍵特點就是它的計算架構，以及它的傳感器架構對數據共享的支持。任何加入Nvidia Drive合作伙伴計劃的公司，我們都會通過現有項目共享數據，目前我們已經積累了數百萬小時的數據。通過不同的車型項目，我們也在持續從各家OEM那里匯聚數據。然后我們可以先用所有這些數據訓練出一個基礎模型。我們確保至少從我們不同項目中收集到的數據能夠跟OEM共享，這是第一點。第二點是，在新的時代，我們認為算力本身也相當于數據。所以就像你說的，我們也會大量使用合成數據。

還有神經重建數據，我們稱之為NuRec。這是一個非常重要的技術和仿真手段。我們從實際場景中采集數據，然后用神經重建技術對數據進行一些調整，比如改變背景或者車輛的行駛軌跡，這樣同一組數據就可以生成大量不同的變體。所有這些數據都需要靠計算機來生成，動輒數千萬條。我們愿意跟加入這個生態系統的每一位參與者共享這些數據。這樣一來，所有Drive生態系統的參與者加在一起，就能共同彌補數據方面的差距，這一點非常關鍵。

Nilay Patel：所以這其實就是合成數據，對吧？你們先采集大量真實道路駕駛的數據，然后放到模擬器里，模擬器對數據進行一些處理。車企為什么愿意參與數據共享呢？是因為大家都意識到，合在一起追上的機會更大？還是因為它們不想自己砸那么多錢？或者說成本更低？它們為什么愿意跟競爭對手共享數據？

吳新宙：這兩個原因其實都對。實際上省下來的成本非常可觀。要養一支龐大的車隊去采集數據，對任何公司來說都是巨大的資本投入，而且工作本身也是重復性的。如果你能找到一種方式，比如我們在Drive平臺上提供的這種，就能幫客戶省下大量的精力和資金。

Nilay Patel：這個我挺好奇的，因為整體思路是，你們訓練模型，然后裝到車上，最后就有了AIDV。傳統做自動駕駛的方法，就是不斷往里喂更多數據，喂到一定量，車就什么都會了，同時把所有的路都測繪好。但英偉達的路線感覺不太一樣，更像是讓車自己足夠聰明，不管有沒有地圖都能應對。那就需要不同的數據采集方式，不同的計算方式，然后在AI上要押下更大的賭注。這種路線分化是真的存在嗎？你們已經完成了這個跳躍嗎？這是平臺的未來方向，還是你們正處在一個過渡階段？

吳新宙：我們現在對L2+所采用的方法，基本上是無地圖的。就像你說的，模型確實需要更多數據來覆蓋更多的邊緣場景，而且模型本身也在越變越大，不管是這一代還是下一代，我們都會用參數更多的更大模型。基礎模型在這里也會發揮很大作用。要讓模型足夠強，數據肯定是關鍵，但另一方面，使用已經在互聯網數據上預訓練過的基礎模型也是一個趨勢，這也會有幫助。所以我才反復強調我們跟英偉達內部基礎模型團隊的對接。

通過推理模型和基礎模型，我們可以借助前沿模型的能力，利用互聯網數據來擴大數據規模，幫助車輛在沒有特定車輛數據的情況下也能更好地泛化。這是我們邁向更高級別自動駕駛，尤其是L4的主要方向之一，也是我們現在重點推進的工作之一。

說回OEM，我覺得我們能提供給客戶的，一方面是我們在已有合作中積累起來的基礎，加上我們在合成數據和神經重建數據生成上的大規模能力，另一方面是基礎模型的能力——這些模型本身是在更通用的數據上訓練的，

Nilay Patel：我覺得現在必須聊一聊安全問題了。我知道實際情況肯定比這復雜，但你們在講用基礎模型來做自動駕駛推理，而我腦子里浮現的全是ChatGPT那種——它答錯了給你道歉，但車已經撞了；或者是那種可怕的延遲，模型繞了一大圈才意識到自己走錯了。你去看它的思維鏈，發現它從一開始就完全搞錯了方向。那種感覺就像Anthropic認為Claude會有“愧疚感”一樣。這些跟開車這種需要實時響應的場景完全不搭邊。你們怎么彌合這個差距？延遲怎么辦，后臺跑大模型怎么辦，模型產生各種發散推理怎么辦？這些怎么跟駕駛汽車兼容？

吳新宙：安全對我們來說非常重要，對整個自動駕駛行業也一樣。我從我們提供的不同層面來回答這個問題。解決安全問題對汽車行業來說不是新鮮事，我們已經有了非常成熟的開發和驗證流程來證明軟件是安全的，也就是ISO 26262標準。實際上我們開發硬件、操作系統層面的軟件和應用軟件，都按照最高的安全標準來做，這對任何能上路的駕駛功能來說都是至關重要的前提。這是第一點。

第二點是，我們的做法跟這個領域的一些參與者略有不同。我們實際上為L2++或ADAS功能也設置了冗余（指備份）的技術棧。除此之外是端到端模型，基本上就是像素進、軌跡出。我們還有一個傳統技術棧，它更多是基于我們所知的安全標準來開發的，本質上是一個由多個組件構成的技術棧，每個組件都可以用這個已知標準來單獨驗證。這就是我所說的傳統技術棧。當兩個技術棧并行運行時，傳統技術棧充當了我們有時稱之為“老大哥”的角色，但本質上它是一個安全護欄。它在每一幀都試圖驗證端到端模型生成的所有軌跡，并用已知的安全標準來檢驗是否安全。

這是我們一個非常重要的理念，而且不僅是一個理念，我們已經在我們技術棧中實現了它。這對更高級別的自動駕駛（L4）來說至關重要。這也是我們L4技術棧的基礎——我們實現了完全冗余，不僅是傳感器層面的冗余，還有軟件架構層面的冗余。這是回答你安全問題的第二點。

第三點，我們在開發模型的時候，也在盡量降低模型產生幻覺的可能性。方法就是做大規模的驗證。每個模型發布之前，我們都會建立大量的仿真測試數據，目前每天大概要跑500萬次測試。

基本上我們每天會迭代10個版本的端到端模型，然后做大規模驗證，確保在所有場景下——你可以理解為每一個被測試的場景——模型輸出的軌跡都是對的。這對我們來說也極其關鍵。以上這些就是我們確保產品安全所做的努力。

Nilay Patel：我問個有點蠢但我真挺好奇的問題。你聊了很多關于模型怎么操控車的事，也說了傳統技術棧是安全護欄。那這個模型在推理的時候，是不是像其他模型一樣用語言來思考？它會不會在后臺自己對自己說：“看到個停車標志，我該干什么？哦，得停下來，踩剎車吧”——就像普通大模型那樣在后臺用語言進行推理？

吳新宙：簡單回答是：會。在我們下一代模型里，也就是用在下一代車型上的——因為當前這代車載算力有限，下一代是基于SOAR架構的。我們會讓模型在訓練時嵌入語言能力。能夠通過語言進行推理非常重要，你還可以直接跟模型對話，問它在做什么，也可以讓它加速、減速或變道。

Nilay Patel：那它實際在開車的時候，會不會對自己說：“看到那邊有輛車，我得變個道，因為前面幾英里要出高速了”——然后通過語言來操控車？

吳新宙：我覺得這是一個組合。語言已經嵌進去了，但視覺信號也極其關鍵。可以說是多模態的，語言只是其中一部分。你也知道，模型是個黑盒，我們并不完全知道它具體怎么運作的，但你可以問它，它會告訴你它正在嘗試做什么。

Nilay Patel：我腦海里就是一幅畫面：一個聊天機器人在高速上以時速55英里飛馳，然后自己嚇壞了。

吳新宙：實際上GTC臺灣發布過一個視頻，那個模型在不停地說話。你要是真去聽它推理的所有內容，還挺擾人的。

Nilay Patel：那延遲呢？你們肯定部署了，應該是管用的，但有在想辦法降低延遲嗎？我覺得語言本質上比開車需要的反應速度慢多了，我自己開車的時候腦子根本不會用語言來思考。

吳新宙：百分之百。所以我才說是多模態的。但降低端到端延遲極其重要。實際上，用模型來開車有一個關鍵優勢：傳統那種由多個組件構成的技術棧通常需要幾百毫秒，而用模型的話，就是一次推理，輸入是像素，輸出是軌跡，中間沒有其他環節，延遲可以降下來——當然要取決于算力。即使在當前這一代，我們也能控制在100毫秒以內，已經算很快了。

至于語言推理這部分，你想想人腦不也這樣嗎？信息經過抽象之后，傳輸速率其實并不高。我們正是利用互聯網數據來訓練這種基于語言的推理能力。我覺得延遲完全可以控制得住，可以這么說。而且，就像我說的，你不是只靠語言來開車，這一點很關鍵。推理部分我相信是比較慢的，但我們也不完全清楚模型具體怎么運作的。但像素處理那部分，才是驅動車輛做出瞬時反應的核心。

Nilay Patel：對。你要是問Anthropic，他們會說Claude有感覺有情緒，還會害怕。那你們會考慮這個嗎？你覺得你們的模型在開車時會有情緒嗎？

吳新宙：我們會用安全護欄來確保它不會太情緒化。

Nilay Patel：我就是好奇。畢竟就像你說的，我們不知道模型是怎么運作的。我腦子里真就是那幅畫面：模型在說“天哪，我開得太快了！”但傳統系統應該能把它壓下來。所以，所有這些都是在汽車上運行的嗎？

吳新宙：不不不。所有這些（模型推理、語言推理等）都是在研發階段離線完成的。但第二部分，就是帶有安全護欄的那個——我們并行運行兩套技術棧的時候——那肯定是在車上運行的。在車上，每一幀畫面，在我們的ADAS ECU軟件中，我們都在對比傳統技術棧和端到端模型生成的軌跡，確保模型輸出的是安全的基準軌跡。

Nilay Patel：那按照你們的做法，自動駕駛汽車需要有高速網絡連接嗎？

吳新宙：不一定需要，但確實要有一定的網絡連接來獲取導航信息和一些地圖信息，這些主要是導航地圖。為了讓模型端和傳統技術棧都能更好地運作，我們會用一些導航地圖信息來幫助理解周圍環境。

Nilay Patel：我問這個是因為當年5G網絡剛推出的時候我做過大量報道，當時所有電信公司都跟我說5G能讓自動駕駛成為現實。而看起來你們的方法反而是對低延遲網絡依賴最少的那一種。

吳新宙：這么說也不算錯，但另一方面，汽車也必須在完全沒有網絡信號的盲區里獨立完成自動駕駛。實時低延遲這個事，我覺得應該說，它對云端是有依賴的。但至少對于ADAS應用，也就是我們所說的L2+，是要覆蓋所有使用場景的，建立這種網絡依賴不是個好主意。到了L4、L5階段，那個時候才會引入對網絡的依賴。

Nilay Patel：當你在L4自動駕駛時失去網絡連接，會發生什么？當你在L5級別，車上已經不再有方向盤，然后你失去網絡連接，會發生什么？

吳新宙：在L4級別，你可以把網絡連接看作一種傳感器。基本的駕駛能力不能過度依賴它。開發L4技術的一個核心理念是，你必須擁有傳感器冗余。這不僅僅是針對GPS，還包括攝像頭、雷達以及你所看到的一切。對于每一個可能出現的故障點，車輛都必須能夠安全行駛。比如你突然失去了GPS信號，但車輛有本地感知能力，它需要能夠行駛到一個安全地點并靠邊停車。這是一個L4系統必須具備的最低要求。這也是開發這類系統的基本L4原則。

Nilay Patel：現在車企為了控制成本，連車漆都在省。而你這邊說的是車里需要大量算力、大量網絡連接，可能還要大量內存來加載模型。那這個怎么平衡？這會推動你們更傾向于機器人出租車模式，還是你覺得人們依然會去買昂貴的自動駕駛私家車？

吳新宙：開發自動駕駛汽車確實需要大量硬件，但另一個趨勢是，隨著技術越來越成熟，硬件成本也在快速下降。比如雷達，在我15年的職業生涯中，雷達的價格至少降了四五倍，因為出貨量越來越大，成本就被攤薄了。我也親眼看到攝像頭傳感器的價格在下降。競爭多了，量大了，價格就下來了。規模效應在ADAS領域已經非常明顯，所有組件都變得更加成熟，甚至到了一定程度的標準化。

你也知道，計算機性能的提升速度非常驚人。以前談半導體行業的摩爾定律，但在自動駕駛領域，算力需求大概每兩年增長10倍，非常夸張。而現在隨著AI的成功和英偉達的推動，我們能夠以可承受的成本把這種規模的計算能力裝到車上——是在車上，而不是在云端。至于晶圓制造產能，當然也要去爭，因為成本對所有人都在漲，那肯定不例外。

Nilay Patel：我很好奇，正是英偉達自己的需求在推高全行業的成本。那當公司其他部門愿意出任何價錢去搶產能的時候，你這邊怎么爭取晶圓制造產能？

吳新宙：答案跟我之前說的差不多。我不知道還能怎么再展開，因為英偉達本來就是一家很有戰略眼光的公司。我們的汽車業務表現還不錯，但肯定沒有數據中心業務漲得那么快。不過我們——包括黃仁勛本人——都堅信自動駕駛的未來，所以會持續投入，不光是內部算力的分配，晶圓制造產能也會去爭取，這是我們一直在考慮的事情。

實際上，芯片價格很可能也會上漲，因為現在市場對芯片的需求太旺盛了，誰都想多搶一點。但好的一面是，技術確實在進步。我剛才說了芯片和傳感器這邊的情況，也提到了Hyperion——那是一個可量產的計算加傳感器整合平臺。我們一直在成本和技術能力之間找平衡，尋找一套既夠用又能實現高級別自動駕駛的最小必要傳感器組合。

例如在Hyperion 10中，我們確實提供了兩個版本。一個是基礎版，主要是攝像頭：10個攝像頭、3個雷達，沒有激光雷達。這是一個非常經濟高效的方式來打造L2++級ADAS車輛。另一個是高端版，我們稱之為Hyperion High：我們提供所需的傳感器組合，大概有14個攝像頭、3個激光雷達和7個雷達，以擁有足夠的傳感器冗余來實現L4級自動駕駛。

ECU也需要冗余，還需要我們的下一代計算平臺——更準確地說是當前這一代基于SOAR的平臺。想象一下，你有一輛真正能自己開的車。我們認為，有了這套傳感器配置和這種計算架構，就能達到那個水平的自動駕駛，也足以讓這個成本顯得合理。

Nilay Patel：關于自動駕駛到底需要哪些傳感器，爭論一直很激烈，而且持續了很多年。我記得埃隆·馬斯克多年前說過激光雷達是“局部最優解”，那大概就是這場爭論的開端，到現在也沒平息過。你覺得L4級自動駕駛必須要用激光雷達嗎？

吳新宙：簡短的回答是：要。我們認為激光雷達是實現L4級自動駕駛所需的安全和冗余能力的重要傳感器。但另一方面，也很難說它絕對不可或缺。基于Hyperion 10的高端傳感器配置，我們覺得這是一條很可行的路線，能夠實現高水平城市和高速場景的L4能力。不過理論上，如果有人能通過海量實際行駛里程來證明不用激光雷達也行，那也不是不可能，但那樣的話，ODD就會受到限制。

運行設計域（ODD，Operational Design Domain）基本上就是技術可以部署的適用域。我們對此做了不少分析。根據我們目前的理解和我們做分析所用的框架，我們認為要將L4技術部署在客戶能受益的所有ODD中，配備激光雷達比不配備要好得多。

Nilay Patel：當你看特斯拉的全自動駕駛（FSD）及其車輛，他們一直堅持純視覺方案。你覺得他們現在是領先于你們、跟你們差不多，還是落后于你們？

吳新宙：這個問題可以從兩個層面來看。在基礎的L2++技術層面，Elon（指馬斯克）很可能領先所有人。他很早就成立了團隊，并且多年來一直堅持利用大規模車隊來開發和測試這套技術。在ADAS市場上，Elon領先于大家這一點應該沒人質疑，其他家基本都在追趕。實際上我們也很高興看到他這么成功。而且Elon也是我們的大客戶，SpaceX和特斯拉都在用我們的GPU計算產品，我們會支持他和他的團隊繼續取得成功。

到了L4這個層面，我覺得局面就更開放一些了。市場上已經有像Waymo這樣驗證過的玩家，他們已經在用自己的一套方法讓用戶真正體驗L4了。特斯拉可能還在摸索通往L4的路徑。我們不會去預判誰會成為贏家，而是希望幫助每一家公司把這項技術做出來。我們的使命是幫助整個自動駕駛生態系統實現那個愿景：讓每一英里、一切移動的載具都實現自動駕駛。

Nilay Patel：那你跟特斯拉的高管聊過使用激光雷達的事嗎？尤其像你剛說的成本還在降，如果更好的技術方案就在眼前，感覺大家應該直接用才對。你們有聊過嗎？

吳新宙：嗯，我自己其實沒有，但我的團隊肯定有人跟他們聊過。我也很期待有機會跟他們聊這個話題。說到底這些都是基礎科學和邏輯問題，聽聽他們的觀點也挺好的。

Nilay Patel：最后我想聊一個可能最不在你掌控范圍內的話題。模型會越來越好，英偉達會繼續造芯片，客戶對自動駕駛的需求大概也會持續增長，這些感覺都是你們能把握住的。中美之間有很多貿易壁壘，英偉達正好夾在中間。當你們想推動整個汽車市場往前走的時候，中美貿易的混亂局面會帶來什么影響？你們會考慮這些嗎？它有沒有拖慢行業的速度？你們能越過這些障礙嗎？

吳新宙：我相信政策制定者有自己的考量和理由來制定這些政策。英偉達一直是一個開放的生態系統參與者，我們在中國仍然有很多客戶。比如我們還在供應車端推理芯片，因為它們仍然在允許在中國市場銷售的GPU門檻以下。我們也和不少中國OEM在合作，在基礎設施方面提供仿真工具，同時跟他們一起推進開源模型Cosmos和Alpamayo。一方面可以幫助他們把模型做得更好，另一方面我們也能從中國市場的競爭中有所收獲。

同時我們也在跟世界其他地區的OEM緊密合作，給不同OEM提供英偉達平臺不同層次的技術和服務，幫他們也能做起來。還是那句話，我們不去選誰會是贏家，而是盡量跟所有人合作。我們的目標很清楚，就是盡最大努力讓這個愿景成為現實。

Nilay Patel：你剛才提到在OEM之間共享數據來訓練模型、提升能力，那中國OEM和歐美OEM之間的數據共享，會不會遇到監管或者競爭方面的障礙？

吳新宙：當然會有。不僅是中國，其他地區也有類似的限制，比如歐洲就有專門的數據法規。我們會遵守各地的法規，確保在每一個市場都做到合規。

Nilay Patel：那是不是說，不同區域的模型版本會有不同的能力，或者擅長處理不同情況？畢竟輸入數據不一樣，輸出好像也應該不一樣。

吳新宙：確實如此。首先對于量產模型，我們會盡量不去分叉，但不同區域之間肯定會有基礎性的差異。模型在不同區域拿到不同的輸入數據，表現自然會不一樣。其中有一些是我們所謂的“國別代碼”——不同區域的規則差異很大，比如歐洲和美國就不一樣，所以需要做一些適配，參數上也會有所不同。把這項技術推廣到世界不同地區，確實是一段很有意思的過程。

Nilay Patel：那基于不同的監管方式、數據路徑、輸入數據，以及OEM的不同配置和投入意愿，還有政府補貼力度的差異，你覺得中國會率先實現L4級自動駕駛的規模化應用嗎？因為如果讓我來判斷的話，我會覺得L4在中國成為主流體驗，會比美國早很多。

吳新宙：我倒不這么認為。你知道Waymo已經讓用戶真正體驗到了L4，至少在舊金山的一些特定區域內，而且擴展速度很快。中國市場確實競爭更激烈，參與者也更多。但根據我的觀察，至少其中一些玩家在技術成熟度上已經達到了Waymo在舊金山的水準。我們也在努力幫助整個生態系統的每一位參與者。

從OEM的角度來看，競爭格局有所不同，但即使在OEM層面，不同區域也各有特點。一方面中國的道路確實比美國更具挑戰性。而L4這件事，我有時稱之為“零和游戲”——要么你有，要么你沒有。而到今天為止，真正證明了L4可以在城市規模的區域內、沒有安全員、不受限制地為每一位乘客安全部署的，目前仍然是在美國，或者在中國。

Nilay Patel：我想Waymo聽到你把他們描述為“主流體驗”會很開心。我承認在舊金山的一部分人里，Waymo確實已經比較普及了，但對絕大多數美國人來說還不是。我的問題是：那種“普及程度”到底是什么？是像現在買車時L2級ADAS基本成了標配那樣，L4也會變成標配，按一下按鈕車就自己開了？你覺得離那個階段還有多遠？

吳新宙：這正是我的使命——幫行業走到那一步。如果要給個具體時間，我不會說五年整，但也不會超過五年。

Nilay Patel：這個預測很大膽。時間差不多了，今天就聊到這兒吧。新宙，你講得非常精彩，期待下次再聊。五年之內我們一定再請你來，看看這個預測準不準。最后問一下，接下來英偉達在汽車領域有什么值得關注的新動作？

吳新宙：計劃不少。今年年底前，我們會在美國所有的梅賽德斯車型以及其他一些合作伙伴的車上推出ADAS技術。接下來幾年會逐步推廣到全球其他地區。同時我們也和Uber等合作伙伴在緊密推進，GTC上已經公布了，未來幾年會逐步推出L4服務，非常值得期待。

另外我們一直是一個生態系統型的公司，幾乎跟所有OEM都有合作。現在大概80%的量產OEM都已經加入了英偉達Hyperion的L4生態圈。我們正在和所有伙伴一起構建這個未來，希望之后你會看到更多令人興奮的消息。

Nilay Patel：好的，就像我說的，我們很快會再請你來。非常感謝你能來Decoder做客。

吳新宙：謝謝你邀請我，Nilay。今天聊得很愉快。