![]()
優(yōu)必選人工智能治理項核查,虎嗅制圖
機(jī)器人企業(yè)八項責(zé)任清單,虎嗅制圖
出品|虎嗅ESG組
作者|陳玉立
頭圖|視覺中國
本文是#ESG進(jìn)步觀察#系列第170篇文章
本次觀察關(guān)鍵詞:人工智能
《人工智能擬人化互動服務(wù)管理暫行辦法》落地已經(jīng)三天,消費(fèi)級機(jī)器人行業(yè)迎面撞上的并非驚喜“爆單”,而是三個問號:
未成年人模式有沒有?隱私對話記錄如何管控?不想用了,又該從哪里體面退出?
作為“人形機(jī)器人第一股”,優(yōu)必選科技(09880.HK)于2023年12月29日在港交所主板上市,旗下最早的消費(fèi)級仿生機(jī)器人“悟空”早在2018年就已發(fā)布,并進(jìn)入家庭場景;旗下首款全尺寸超仿生人形機(jī)器人也于6月30日正式發(fā)布。
然而,截至7月13日,在優(yōu)必選中文官網(wǎng)的新聞中心、旗艦店產(chǎn)品詳情頁等公開頁面上,這些說明仍然搜不到、查不到。
虎嗅ESG組曾向其京東旗艦店問詢其仿生機(jī)器人是否存在未成年人模式,得到的答復(fù)是“無”;當(dāng)問詢歷史交互數(shù)據(jù)是否可刪除時,得到的回復(fù)是不清楚,“需要確認(rèn)”。
核查維度結(jié)論未成年人模式歷史交互數(shù)據(jù)管理細(xì)則模糊責(zé)任說明官網(wǎng)搜不到、查不到ESG報告僅有ESG委員會細(xì)則,不涉及具體治理措施新規(guī)應(yīng)對落地已三天,公司合規(guī)信息仍為空白
新規(guī)生效雖然才剛剛兩天,但這種“公開責(zé)任信息不可見”的狀態(tài)已足夠刺眼——它暴露出的是機(jī)器人公司的責(zé)任治理能力,還沒有真正進(jìn)入消費(fèi)者和投資者的視野。
這背后,正是消費(fèi)級機(jī)器人行業(yè)的ESG新命題。
過去講機(jī)器人,行業(yè)更熱衷于比拼自由度、運(yùn)動控制、大模型接入和商業(yè)化落地。但監(jiān)管的靴子一落,另一張表被推到了臺前:孩子怎么被隔離,用戶怎么退出,投資者又憑什么去判斷風(fēng)險。
機(jī)器人越像人,企業(yè)就越要把邊界劃清楚。這“邊界”首先指向了三個最該被用戶看見的入口:未成年人模式、歷史交互數(shù)據(jù)管理以及退出路徑。
優(yōu)必選的責(zé)任治理考題
《人工智能擬人化互動服務(wù)管理暫行辦法》的監(jiān)管指向很清楚:AI擬人化互動服務(wù)要處理人機(jī)關(guān)系、未成年人保護(hù)、數(shù)據(jù)權(quán)益和退出機(jī)制等問題。
原中興匯金高級研究員、東方財富前專家?guī)斐蓡T李勇認(rèn)為,今年7月15日落地的AI擬人互動新規(guī),是國內(nèi)首個針對情感陪伴、擬人交互場景的國家級監(jiān)管規(guī)范,“有效補(bǔ)齊了人形機(jī)器人行業(yè)的合規(guī)短板,讓行業(yè)發(fā)展有了清晰的規(guī)則邊界”。
他還判斷,這次新規(guī)的重點(diǎn)已經(jīng)從單純內(nèi)容審核,轉(zhuǎn)向整體人機(jī)關(guān)系治理。
這意味著,當(dāng)機(jī)器人進(jìn)入用戶家庭之后,將會持續(xù)對話、記住用戶、采集家庭環(huán)境信息,還可能接觸兒童和老人。對這類產(chǎn)品來說,ESG中的“S”和“G”不再只是報告里的抽象條款,而是必須落到幾個用戶真正能觸碰的按鈕上:未成年人模式、數(shù)據(jù)刪除、關(guān)閉記憶、注銷賬號、投訴申訴。
1.未成年人模式是家庭場景的準(zhǔn)入證
消費(fèi)級機(jī)器人面向家庭場景時,第一道責(zé)任門檻就是未成年人保護(hù)。
未成年人模式至少應(yīng)配齊五類基礎(chǔ)管控功能:“監(jiān)護(hù)人實名授權(quán)、使用時長限制、分級內(nèi)容過濾、縮減兒童端數(shù)據(jù)采集權(quán)限、交互記錄查詢與清除通道。”
同時,兩條監(jiān)管紅線必須遵守:不得為未成年人提供虛擬親屬、虛擬伴侶類親密交互服務(wù);面向14歲以下兒童提供擬人服務(wù),需提前取得監(jiān)護(hù)人許可。
這不是簡單給產(chǎn)品多加一個兒童版皮膚。
“機(jī)器人與普通App、智能音箱的風(fēng)險結(jié)構(gòu)不同。App大多是屏幕里的功能,智能音箱通常是工具型入口;擬人機(jī)器人有形象、有聲音、有動作、有持續(xù)回應(yīng)能力,更容易被兒童賦予朋友、玩伴的屬性,”李勇向虎嗅ESG組分析道:“普通App與智能音箱僅作為工具使用,兒童大多能清晰地區(qū)分設(shè)備與人;擬人機(jī)器人具備仿真外形和情感互動能力,容易讓孩子產(chǎn)生心理依賴,將機(jī)器視作玩伴,并主動傾訴大量家庭私密信息。”
因此,未成年人模式需要覆蓋內(nèi)容安全、時間管理、監(jiān)護(hù)授權(quán)、情感邊界和數(shù)據(jù)最小化。尤其在家庭共享設(shè)備場景下,兒童很可能不是購買者,但是高頻使用者。企業(yè)不能只把責(zé)任交給家長事后識別,產(chǎn)品必須在入口處給出清晰機(jī)制。
如果公開頁面上看不到未成年人模式說明,家長就難以在購買前判斷三個問題:孩子能不能用?怎么用?哪些功能不能用?對家庭消費(fèi)機(jī)器人來說,這已經(jīng)是影響轉(zhuǎn)化和信任的核心訴求,類似優(yōu)必選一類的機(jī)器人企業(yè)亟需向市場回答這些問題。
2. 歷史交互數(shù)據(jù)歸屬權(quán)須交予用戶
擬人化機(jī)器人產(chǎn)生的數(shù)據(jù),敏感度遠(yuǎn)高于一般互聯(lián)網(wǎng)產(chǎn)品。
普通App留下的是瀏覽、點(diǎn)擊、購買、搜索等行為記錄。擬人機(jī)器人可能記錄語音、影像、家庭環(huán)境、情緒表達(dá)、生活習(xí)慣、兒童對話、家庭成員關(guān)系。長期運(yùn)行后,這些記錄會形成一份“關(guān)系檔案”。
這兩類數(shù)據(jù)在維度、隱私風(fēng)險與使用邏輯上存在明顯區(qū)別。普通互聯(lián)網(wǎng)產(chǎn)品僅留存瀏覽、消費(fèi)等零散記錄,信息維度簡單;機(jī)器人會收錄語音、室內(nèi)畫面和環(huán)境信息,還會留存情緒、家庭私密對話這類高敏感內(nèi)容。
其中更復(fù)雜的是“長期記憶”。
常規(guī)平臺不會連貫留存用戶行為,機(jī)器人能夠持續(xù)積累個人生活習(xí)慣、情緒偏好,形成完整的個人交互記錄。一旦外泄,較容易還原居家日常,隱私損害也更難修復(fù)。
所以,用戶對于歷史交互數(shù)據(jù)至少應(yīng)該擁有幾項基礎(chǔ)權(quán)利:查看、復(fù)制、導(dǎo)出、刪除、撤回訓(xùn)練授權(quán)、注銷賬號并同步清除個人記憶。企業(yè)不該利用格式條款、后臺功能限制,變相壓縮用戶本該擁有的合法權(quán)利。
這里還有一個容易被混淆的問題:刪除歷史交互數(shù)據(jù),和刪除模型記憶,并不完全相同。
李勇指出,清空交互數(shù)據(jù)是普通用戶就能自主操作的,一鍵刪掉全部對話、影像與傳感記錄,操作應(yīng)馬上生效;模型記憶涉及底層算法,大模型訓(xùn)練吸收海量用戶樣本后,特征可能融入通用算法,單獨(dú)剔除某個人的特征存在技術(shù)局限。
但這并不意味著企業(yè)可以用“技術(shù)困難”搪塞用戶。李勇認(rèn)為企業(yè)應(yīng)至少做好三層保障:用戶刪除數(shù)據(jù)后,同步清空對應(yīng)個人畫像標(biāo)簽;給用戶退出模型訓(xùn)練的通道;在隱私說明里如實講清技術(shù)局限,同時配套去標(biāo)識化、關(guān)閉個性化推送等措施。
對消費(fèi)機(jī)器人企業(yè)來說,歷史交互數(shù)據(jù)當(dāng)然有商業(yè)價值。它可以優(yōu)化體驗、提高個性化、增強(qiáng)用戶黏性。但數(shù)據(jù)越像資產(chǎn),責(zé)任也越重。企業(yè)需要回答:這些數(shù)據(jù)在哪里,用戶怎么拿回,刪除后還剩什么,是否繼續(xù)參與訓(xùn)練。
如果這些問題只藏在隱私政策深處,甚至類似優(yōu)必選一樣在產(chǎn)品詳情頁中無說明、客服也無法解釋清楚,用戶的權(quán)利就很難真正落地。
3. 企業(yè)需提供退出路徑:擬人化產(chǎn)品必須允許用戶體面離開
在消費(fèi)級機(jī)器人的使用場景中,“退出”不只是注銷賬號。
用戶可能需要關(guān)閉擬人化互動、停止主動喚醒、清除個性化記憶、刪除歷史交互數(shù)據(jù)、解綁設(shè)備、注銷賬號、撤回訓(xùn)練授權(quán)。未成年人賬號還可能需要監(jiān)護(hù)人協(xié)助退出。
完整的退出流程主要分四類操作:臨時關(guān)掉擬人對話和傳感采集、一鍵清空交互記憶、導(dǎo)出并清除全部個人數(shù)據(jù)、注銷賬號同時收回數(shù)據(jù)訓(xùn)練授權(quán)。
這就是擬人化AI產(chǎn)品區(qū)別于普通智能硬件的地方。普通設(shè)備閑置之后,互動關(guān)系基本中止;陪伴機(jī)器人即使放在角落,云端仍可能留存大量歷史記錄。用戶停止使用硬件,不等于關(guān)系和數(shù)據(jù)同時結(jié)束。
李勇認(rèn)為,普通App很難和用戶產(chǎn)生情感綁定,卸載、關(guān)掉權(quán)限基本就能隔斷服務(wù);陪伴機(jī)器人長期相處會留存大量云端私密記錄,即便設(shè)備閑置,家庭對話、生活細(xì)節(jié)這類敏感信息依舊存在。
因此,退出路徑越清楚,用戶越容易建立信任。企業(yè)如果把退出入口做得很深、流程設(shè)計得很繞,短期看似保住留存,長期會增加投訴、監(jiān)管和品牌風(fēng)險。
“短期搭建這類合規(guī)功能確實會增加研發(fā)、審計投入,收緊數(shù)據(jù)采集后,個性化體驗也可能被削弱。但刻意隱藏注銷入口,反而容易引發(fā)用戶投訴,還可能觸發(fā)監(jiān)管核查;未成年人模式雖然約束兒童端營銷,長期有助于獲得家長認(rèn)可,拓寬家庭消費(fèi)市場。”
換句話說,消費(fèi)機(jī)器人要做長期生意,就不能只設(shè)計“如何開始互動”,還要設(shè)計“如何結(jié)束關(guān)系”。
治理披露的缺口:責(zé)任不能只存在于后臺
如果一家企業(yè)內(nèi)部已經(jīng)做了未成年人模式、數(shù)據(jù)刪除、退出路徑,卻沒有在官網(wǎng)、產(chǎn)品頁、用戶協(xié)議、隱私政策、投資者關(guān)系頁面清楚展示,算不算問題?答案是:至少構(gòu)成治理透明度缺口。
對于消費(fèi)機(jī)器人公司,官網(wǎng)不是簡單櫥窗,投資者關(guān)系頁面也不該只是財報入口。它們是用戶、家長、投資者理解產(chǎn)品邊界和企業(yè)治理能力的公共入口。
李勇認(rèn)為,如果一家消費(fèi)機(jī)器人企業(yè)在監(jiān)管生效前夕,官網(wǎng)、投資者關(guān)系頁面沒有清晰展示未成年人模式、數(shù)據(jù)刪除、退出路徑等機(jī)制,“這就算實打?qū)嵉暮弦?guī)漏洞,哪怕企業(yè)內(nèi)部已經(jīng)把這些功能做出來了,沒對外公示清楚,也算不上合規(guī)”。
因為它指向的不是簡單信息披露問題,而是類似優(yōu)必選之類已上市機(jī)器人公司的治理問題。
第一,用戶購買前需要知情。尤其是有孩子的家庭,關(guān)心的不是機(jī)器人能不能聊天,而是能不能限制孩子使用、能不能刪除孩子的互動記錄、能不能避免親密化誘導(dǎo)。如果這些信息公開不可見,用戶無法完成風(fēng)險判斷。
第二,投資者需要判斷治理成熟度。AI擬人化產(chǎn)品一旦進(jìn)入規(guī)模化銷售,未成年人保護(hù)、數(shù)據(jù)權(quán)利、內(nèi)容風(fēng)控都會成為經(jīng)營風(fēng)險。監(jiān)管整改、輿論爭議、數(shù)據(jù)事故,都可能影響銷售、渠道、品牌和估值。
“AI合規(guī)已經(jīng)是上市機(jī)器人企業(yè)需要定期對外說明的經(jīng)營內(nèi)容。未成年人保護(hù)、數(shù)據(jù)管控、內(nèi)容風(fēng)控都是企業(yè)需要守住的法規(guī)紅線;合規(guī)一旦出現(xiàn)漏洞,可能遭遇監(jiān)管整改處罰,影響產(chǎn)品銷售和品牌口碑,進(jìn)而波及業(yè)績與估值,”李勇說道。
第三,ESG治理要求可驗證。單靠企業(yè)喊口號“我們重視隱私”“我們保護(hù)未成年人”,價值有限。真正有用的是入口、流程、時限、責(zé)任人、投訴渠道、第三方審計和透明度報告。
虎嗅ESG組認(rèn)為,成熟的機(jī)器人企業(yè)應(yīng)搭建自上而下、權(quán)責(zé)清晰的AI治理架構(gòu),包括董事會下設(shè)獨(dú)立AI治理委員會、配置AI倫理官和數(shù)據(jù)保護(hù)官、產(chǎn)品上線前做倫理和未成年人保護(hù)雙重評估、定期找第三方做安全審計、每年發(fā)布AI治理透明度報告,并建立用戶投訴申訴渠道。
這也是為什么投資者關(guān)系頁面值得被納入觀察。對于上市公司,AI治理不只是產(chǎn)品運(yùn)營細(xì)節(jié),它影響長期風(fēng)險定價。
截至7月13日,在優(yōu)必選中文官網(wǎng)新聞中心、投資者關(guān)系等公開頁面,尚未看到與仿生機(jī)器人對應(yīng)的未成年人模式、歷史交互數(shù)據(jù)治理等說明。且在僅有與治理相關(guān)的《ESG與可持續(xù)發(fā)展委員會工作細(xì)則》中,也未見與機(jī)器人產(chǎn)品治理相關(guān)的條款。
李勇向虎嗅ESG組指出,這種情況具有代表性,不止是優(yōu)必選,整個行業(yè)都存在“重產(chǎn)品展示、輕責(zé)任說明”的通病,大家忙著推產(chǎn)品、講參數(shù),卻忽略了合規(guī)信息公開。這種缺失直接導(dǎo)致用戶購買前無法判斷風(fēng)險,投資者也難以準(zhǔn)確評估公司治理的成熟度。
公開披露不是形式主義。對于機(jī)器人產(chǎn)品而言,風(fēng)險發(fā)生在持續(xù)交互中,責(zé)任說明也應(yīng)該出現(xiàn)在產(chǎn)品說明、設(shè)置入口、隱私政策、FAQ、投資者溝通和ESG報告中。
從優(yōu)必選到行業(yè),消費(fèi)級機(jī)器人步入責(zé)任競爭階段
一個現(xiàn)實困境是,優(yōu)必選僅僅是一個觀察樣本,真正需要被審視的是整個消費(fèi)級機(jī)器人行業(yè)。
過去機(jī)器人公司的主戰(zhàn)場集中在硬件:伺服、關(guān)節(jié)、運(yùn)動控制、成本、供應(yīng)鏈、場景落地。大模型發(fā)展成熟之后行業(yè)開始強(qiáng)調(diào)“會對話”“會理解”“會陪伴”。可一旦進(jìn)入家庭、教育、養(yǎng)老等場景,產(chǎn)品屬性就發(fā)生變化。
當(dāng)機(jī)器人從工具走向陪伴者,企業(yè)責(zé)任邊界就隨之?dāng)U大。
李勇用一句話概括了消費(fèi)級機(jī)器人的最大治理風(fēng)險:這類機(jī)器人依靠人格化交互,容易讓用戶放下心理戒備、產(chǎn)生情感依賴,持續(xù)收集家庭私密信息帶來隱私隱患;疊加未成年人防護(hù)短板、產(chǎn)品信息披露不充分、責(zé)任劃分模糊等問題,容易形成隱蔽、較難逆轉(zhuǎn)的復(fù)合型風(fēng)險。
這句話點(diǎn)出了消費(fèi)級機(jī)器人ESG的核心:并非傳統(tǒng)制造業(yè)ESG框架里的環(huán)保敘事,而是將重點(diǎn)落在用戶權(quán)利、兒童保護(hù)、數(shù)據(jù)治理、算法透明、投訴救濟(jì)和董事會監(jiān)督。
他建議,如果給消費(fèi)級機(jī)器人企業(yè)設(shè)計ESG指標(biāo),可以分為四個板塊:未成年人保護(hù)、全流程數(shù)據(jù)管理、風(fēng)險管控與信息公示、長效可持續(xù)經(jīng)營。具體包括兒童專屬管控模式、監(jiān)護(hù)人授權(quán)、兒童信息最小化采集、交互信息全生命周期管控、數(shù)據(jù)導(dǎo)出刪除、撤回訓(xùn)練授權(quán)、第三方外部審計、用戶投訴渠道、專職合規(guī)崗位、投資者風(fēng)險披露,以及供應(yīng)鏈數(shù)據(jù)合規(guī)和廢舊機(jī)器人回收處置方案。
這套框架的價值在于把抽象的“AI倫理”拆成了可核驗項目。
對行業(yè)來說,未來的競爭很可能從“參數(shù)賬”進(jìn)入“責(zé)任賬”。硬件能力會趨同,大模型能力會被供應(yīng)鏈化。而家庭用戶、教育機(jī)構(gòu)、養(yǎng)老機(jī)構(gòu)和投資人都會越來越關(guān)注一件事:這家公司能不能讓風(fēng)險可見、權(quán)利可行使、責(zé)任可追溯。
李勇判斷,消費(fèi)級機(jī)器人行業(yè)的一大競爭重心正慢慢從硬件參數(shù)轉(zhuǎn)向合規(guī)治理、責(zé)任建設(shè)層面。硬件和基礎(chǔ)交互功能同行模仿門檻偏低,未成年人防護(hù)、居家數(shù)據(jù)全流程管控這類治理體系搭建周期更久、落地門檻更高,有機(jī)會形成獨(dú)特競爭優(yōu)勢。
這背后是一筆商業(yè)賬——責(zé)任機(jī)制會增加成本,也可能影響部分用戶黏性,但它能降低信任摩擦。家長購買家庭機(jī)器人時,會更愿意選擇明確披露兒童保護(hù)機(jī)制的品牌;學(xué)校、養(yǎng)老機(jī)構(gòu)采購時,會把隱私和安全作為準(zhǔn)入條件;資本市場也會把AI治理視作長期經(jīng)營能力的一部分。
虎嗅ESG組認(rèn)為,企業(yè)如果主動公示完整、可核查的責(zé)任細(xì)則,能夠區(qū)別于只側(cè)重硬件宣傳的競品,在家用市場、政企渠道積累長期品牌口碑,對企業(yè)估值也能帶來正向作用。
基于此,一家合格的消費(fèi)級機(jī)器人企業(yè),至少應(yīng)向用戶和投資者公開一份清晰的責(zé)任清單。虎嗅ESG組將其梳理為以下八項必答之題:
責(zé)任維度企業(yè)應(yīng)公開的產(chǎn)品能力AI身份標(biāo)識明確提示用戶正在與AI互動,避免擬人化的誤導(dǎo)性未成年人保護(hù)未成年人模式、監(jiān)護(hù)人授權(quán)、內(nèi)容過濾、使用時長限制數(shù)據(jù)權(quán)利歷史交互數(shù)據(jù)查看、復(fù)制、導(dǎo)出、刪除及處理權(quán)限記憶管理清除個性化記憶、關(guān)閉畫像、退出模型訓(xùn)練授權(quán)退出機(jī)制關(guān)閉擬人化互動、停止主動喚醒、注銷賬號、解綁設(shè)備內(nèi)容安全對話風(fēng)控、敏感內(nèi)容攔截、兒童內(nèi)容分級治理披露第三方審計、透明度報告、ESG和投資者風(fēng)險披露
當(dāng)一臺機(jī)器人走進(jìn)家庭,接觸兒童、記錄日常、承載情緒,企業(yè)就不能只回答“它能做什么”。更要回答:它不能做什么,孩子如何被保護(hù),投資者如何驗證治理能力。這是新規(guī)生效后,消費(fèi)機(jī)器人公司必須交出的第一份答卷。
本文來自虎嗅,原文鏈接:https://www.huxiu.com/article/4876143.html?f=wyxwapp
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.