機(jī)器人上春晚了,跑馬拉松了,在發(fā)布會(huì)上翻跟頭了。
但如果你讓它自己疊一件衣服,它大概率會(huì)把襯衫揉成一團(tuán)——然后卡住不動(dòng)。
讓機(jī)器人真正"自主行動(dòng)",而不是照著寫好的劇本演戲,至今仍然是全球機(jī)器人實(shí)驗(yàn)室最頭疼的事情之一。不過今這個(gè)月初,英偉達(dá)機(jī)器人領(lǐng)軍人Jim Fan(范麟熙),在演講中提到,現(xiàn)在讓機(jī)器人自主行動(dòng)的終局之戰(zhàn),已經(jīng)來了。
![]()
他說,機(jī)器人正在經(jīng)歷一個(gè)"Great Parallel"——也就是復(fù)刻大語言模型的進(jìn)化路線。GPT從海量文本中學(xué)會(huì)語言,機(jī)器人也可以從海量視頻中學(xué)會(huì)動(dòng)作。關(guān)鍵就在于一種叫做"Ego Data"的東西——人類第一視角數(shù)據(jù)。
![]()
過去幾年,教機(jī)器人干活的主流方法是遙操作:一個(gè)人遠(yuǎn)程操控機(jī)器人做動(dòng)作,機(jī)器人照著學(xué)。聽起來很直覺,但問題在于,即使一臺(tái)機(jī)器人24小時(shí)不停地采,一年也就產(chǎn)出幾千小時(shí)的數(shù)據(jù)。這還是理想情況下,事實(shí)上,一天能采集5個(gè)小時(shí)數(shù)據(jù),已屬不易了。
![]()
Jim Fan在演講中甚至給遙操作"默哀了一分鐘",說這種方式,根本無法滿足訓(xùn)練的需求。
而英偉達(dá)的EgoScale項(xiàng)目證明了另一條路:用超過2萬小時(shí)的Ego數(shù)據(jù)(人類第一視角)做預(yù)訓(xùn)練,不需要任何機(jī)器人參與,就能讓機(jī)器人學(xué)會(huì)組裝模型車、分類撲克牌、折疊襯衫。更關(guān)鍵的是,研究團(tuán)隊(duì)發(fā)現(xiàn)了一條清晰的Scaling Law——人類視頻數(shù)據(jù)越多,機(jī)器人的操作能力就越強(qiáng)。
![]()
只不過和GPT一樣,這條技術(shù)路徑需要的數(shù)據(jù)也非常龐大。2萬小時(shí)是做研究用的量級(jí)。而真正訓(xùn)練一個(gè)通用具身大模型,行業(yè)測(cè)算至少需要1000萬小時(shí)的真實(shí)場(chǎng)景數(shù)據(jù)。目前全球高質(zhì)量實(shí)操數(shù)據(jù)加起來不過幾十萬小時(shí),缺口超過95%。
正因如此,目前全球科技巨頭都在瘋搶這種數(shù)據(jù)。Meta在發(fā)布了3670小時(shí)的Ego4D數(shù)據(jù)集,今年4月Build AI更是一口氣放出了100萬小時(shí)的Egocentric-1M,Georgia Tech、斯坦福、MIT和Meta聯(lián)合推出的EgoVerse,甚至已經(jīng)開始用iPhone做標(biāo)準(zhǔn)化采集。一場(chǎng)圍繞人類第一視角數(shù)據(jù)的軍備競(jìng)賽,已經(jīng)全面打響。
而在國(guó)內(nèi),在Ego數(shù)據(jù)采集這條賽道上,跑得最快的是京東。
![]()
2026年4月16日,京東在具身智能生態(tài)發(fā)布會(huì)上宣布,全球首推覆蓋"采、存、標(biāo)、訓(xùn)、評(píng)、仿、測(cè)"全鏈路的具身智能數(shù)據(jù)基礎(chǔ)設(shè)施,并放出了一個(gè)驚人的目標(biāo):不僅將建成全球最大的具身智能數(shù)據(jù)采集中心,然后兩年內(nèi)采集1000萬小時(shí)人類真實(shí)場(chǎng)景數(shù)據(jù),外加100萬小時(shí)機(jī)器人本體數(shù)據(jù)。
Ego數(shù)據(jù)到底如何采集?
前兩天,我們?nèi)サ搅俗湓谒捱w的京東機(jī)器人數(shù)據(jù)采集中心,看看要完成1000萬小時(shí)的數(shù)據(jù)采集,京東到底在怎么干這件事。
![]()
走進(jìn)基地,第一個(gè)看到的就是京東自研的JoyEgoCam采集終端。
![]()
這是一個(gè)頭戴式設(shè)備,雙目4K/60fps,重投影誤差小于0.2個(gè)像素,整機(jī)只有220克,大概就是一部手機(jī)的重量。并且還內(nèi)置了IMU和推理單元,在各種環(huán)境下都能做到毫米級(jí)精準(zhǔn)采集。
我自己也上手戴了一下。說實(shí)話,比想象中要輕,戴上之后幾乎沒有什么負(fù)擔(dān)感,正常做動(dòng)作完全不受影響。
![]()
基地里面搭建了各種各樣的場(chǎng)景,走一圈下來像逛了一個(gè)微縮版的真實(shí)世界。商超的貨架區(qū),采集員在反復(fù)碼放貨品;藥店區(qū)域還原了真實(shí)的藥房柜臺(tái),采集員在做藥品分揀和上架的動(dòng)作。
![]()
家政區(qū)域更是細(xì)致,擦桌子、疊衣服、整理收納、地面清潔,每一個(gè)動(dòng)作都有人反復(fù)在做。到處都能看到戴著JoyEgoCam工作人員的忙碌身影。
![]()
不只是Ego數(shù)據(jù)。基地里也有專門的遙操作數(shù)據(jù)采集區(qū)域,工作人員通過遠(yuǎn)程操控機(jī)器人完成特定任務(wù),兩種數(shù)據(jù)路線并行推進(jìn)。
![]()
正因?yàn)镴oyEgoCam夠輕、夠便攜,它可以基地搭建的場(chǎng)景,直接進(jìn)入到真實(shí)的生活的場(chǎng)景里。
比如京東和宿遷政府合作,把采集直接鋪進(jìn)了社區(qū)——全職媽媽、退休人員、大學(xué)生,戴上設(shè)備在自己家里就可以采集。
![]()
擦桌子、疊衣服、打掃衛(wèi)生,設(shè)備自動(dòng)記錄上肢軌跡、人與環(huán)境的交互關(guān)系。時(shí)間完全自由,一天2到6個(gè)小時(shí),一周五天,多勞多得。說白了:你在家把家務(wù)干了,順便就把錢賺了。
![]()
相較于家政,進(jìn)入到的養(yǎng)老院的采集更值得關(guān)注。
以宿遷老年醫(yī)院為例,在職護(hù)工數(shù)量不夠,并且基本上都是50歲左右的中年人。對(duì)于年輕人來講,護(hù)工這份工作認(rèn)可度低,又苦又累,沒人愿意來。醫(yī)院曾經(jīng)向20多個(gè)持證年輕人發(fā)出實(shí)習(xí)邀請(qǐng),最終只有1個(gè)人愿意來。
而現(xiàn)在,護(hù)工戴著JoyEgoCam工作,協(xié)助老人起身、喂藥、康復(fù)訓(xùn)練的動(dòng)作被完整記錄,這些數(shù)據(jù)將成為養(yǎng)老機(jī)器人的訓(xùn)練數(shù)據(jù)。
![]()
將來,機(jī)器人能在攙扶、搬運(yùn)這些場(chǎng)景上部分鋪開,把最辛苦的體力活分擔(dān)掉,對(duì)養(yǎng)老行業(yè)就是巨大的幫助。這對(duì)日益加速的老齡化社會(huì)是剛需。
從社區(qū)到養(yǎng)老院,看得出來,京東正逐漸把Ego數(shù)據(jù)采集擴(kuò)展到各行各業(yè)的實(shí)際場(chǎng)景中去,構(gòu)建起一套覆蓋全場(chǎng)景的數(shù)據(jù)集。
![]()
不只是采集
采集只是第一步,在基地,采集過后的數(shù)據(jù)依次經(jīng)歷存儲(chǔ)、標(biāo)注、訓(xùn)練、評(píng)測(cè)、仿真、測(cè)試等一系列處理,才能進(jìn)入到可訓(xùn)練的高質(zhì)量數(shù)據(jù)集。
![]()
京東云的AI數(shù)據(jù)湖和JoyBuilder平臺(tái)承擔(dān)了這部分工作——作為行業(yè)首家支持千卡級(jí)LeRobot開源訓(xùn)練框架的AI開發(fā)平臺(tái),訓(xùn)練效率比開源社區(qū)版本提升3.5倍,千卡訓(xùn)練時(shí)間從15小時(shí)縮短到22分鐘,提速40倍。
![]()
京東還有自己的具身大模型JoyAI-RA,以自采數(shù)據(jù)為核心進(jìn)行訓(xùn)練,在真機(jī)實(shí)驗(yàn)中成功率達(dá)到了73.5%,超過了pi0.5等此前的SOTA模型。
模型反過來又指導(dǎo)數(shù)據(jù)采集策略的優(yōu)化,形成了"數(shù)據(jù)喂模型、模型優(yōu)化數(shù)據(jù)"的飛輪——采的數(shù)據(jù)越多,模型越強(qiáng);模型越強(qiáng),對(duì)數(shù)據(jù)質(zhì)量的把控越精準(zhǔn),采集效率也跟著提高。
![]()
在全鏈路上,京東不僅打造數(shù)據(jù)采集全鏈路技術(shù)棧,還上線了數(shù)據(jù)交易平臺(tái)。
首批2000小時(shí)高精標(biāo)注數(shù)據(jù)集已定向開放,幾十家企業(yè)和高校在對(duì)接。數(shù)據(jù)流向三個(gè)方向:京東自用訓(xùn)練模型、通過交易平臺(tái)賦能產(chǎn)業(yè)界、定向開放給高校和科研機(jī)構(gòu)推動(dòng)前沿研究。合規(guī)方面,入家采集需簽授權(quán)協(xié)議,數(shù)據(jù)傳輸全程加密,權(quán)限管控在云平臺(tái)上執(zhí)行,交易環(huán)節(jié)與監(jiān)管機(jī)構(gòu)做了溝通和備案。
![]()
所以京東做的不是一個(gè)單點(diǎn)的采集項(xiàng)目,而是一整套從數(shù)據(jù)采集到模型訓(xùn)練再到數(shù)據(jù)交易的基礎(chǔ)設(shè)施。它給整個(gè)具身智能行業(yè)提供最底層的"燃料"。
具身智能的下半場(chǎng),正在到來
回過頭來看整個(gè)具身智能行業(yè),有一個(gè)很形象的說法:機(jī)器人的"小腦"已經(jīng)逐漸發(fā)育完全了——走、跑、跳、翻跟頭,但想進(jìn)入人類生活,靠的是"大腦"。
現(xiàn)在的機(jī)器人擅長(zhǎng)基礎(chǔ)運(yùn)動(dòng),卻無法完成疊衣服、擦桌子、分揀藥品這些對(duì)人類來說再簡(jiǎn)單不過的日常操作,整個(gè)產(chǎn)業(yè)還停留在"炫技"階段。要讓機(jī)器人從"會(huì)動(dòng)"進(jìn)化到"會(huì)干活",關(guān)鍵不在硬件,而在數(shù)據(jù)。
![]()
機(jī)器人"小腦發(fā)達(dá)、大腦不足",擅長(zhǎng)跑跳等基礎(chǔ)動(dòng)作,卻無法完成家務(wù)、精細(xì)操作等實(shí)用任務(wù)。整個(gè)產(chǎn)業(yè)還停留在"炫技"階段。
大腦的發(fā)育靠什么?靠數(shù)據(jù)。這就是京東做這件事的底層邏輯。他們的目標(biāo)很明確:兩年內(nèi)積累1000萬小時(shí)人類真實(shí)場(chǎng)景視頻數(shù)據(jù),外加100萬小時(shí)機(jī)器人本體數(shù)據(jù)。
為此,京東計(jì)劃發(fā)動(dòng)多達(dá)60萬人參與采集——內(nèi)部10萬員工,加上外部50萬各行業(yè)人員,僅在宿遷一地就要?jiǎng)訂T超過10萬市民。京東自身3600多個(gè)倉庫、20萬家合作藥房、1萬多家線下門店、5萬多名保潔師,每年服務(wù)近千萬個(gè)家庭,覆蓋3000多個(gè)業(yè)務(wù)場(chǎng)景——這些真實(shí)場(chǎng)景本身就是天然的數(shù)據(jù)富礦。
![]()
過去幾年,AI的主戰(zhàn)場(chǎng)在數(shù)字世界——寫文章、畫圖、寫代碼,一切都發(fā)生在屏幕里。而未來,AI的主戰(zhàn)場(chǎng)將轉(zhuǎn)移到物理世界。或許正是基于這樣的判斷,5月18日的京東618啟動(dòng)會(huì)上,京東集團(tuán)技術(shù)委員會(huì)主席曹鵬明確提出,京東將打造全球最大物理世界運(yùn)營(yíng)中心,推動(dòng)AI從千行百業(yè)走進(jìn)千家萬戶。
![]()
說白了,AI要從屏幕里走出來,光會(huì)寫文章畫圖不夠,它得學(xué)會(huì)在真實(shí)世界里干活。而干活這件事,沒有捷徑,就是得看夠足夠多的人類操作——怎么擦桌子,怎么扶老人,怎么摘果子。這些數(shù)據(jù)不可能在實(shí)驗(yàn)室里編出來,只能從真實(shí)的生活里一幀一幀地采。
機(jī)器人的Scaling Law找到了,方向明確了,剩下就是一個(gè)字:喂。誰能最快喂夠數(shù)據(jù),誰的機(jī)器人就先聰明起來。京東的做法簡(jiǎn)單直接——發(fā)動(dòng)60萬人,在真實(shí)生活里給機(jī)器人當(dāng)老師。
當(dāng)60萬人的生活經(jīng)驗(yàn)都變成了數(shù)據(jù),Jim Fan說的那場(chǎng)終局之戰(zhàn),才算真正開始。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.