當AI能夠模擬人的語言、情緒甚至人格特征時,用戶是否清楚自己面對的是人工智能?平臺是否應承擔相應責任?未成年人如何避免沉迷于AI陪伴?AI生成內容出現誤導甚至侵權時,由誰負責?這些問題都需要制度及時回應。7月15日,《人工智能擬人化互動服務管理暫行辦法》(以下簡稱《辦法》)即將正式實施,新規對虛擬戀人、深度角色扮演情感依附類AI設立了強約束。最近豆包、千問相繼宣布下架智能體功能似乎也找到了原因。
從聊天機器人、AI數字人到虛擬陪伴、智能客服,擬人化已成為人工智能產品提升用戶體驗的重要方向。自然的語言表達、豐富的情緒反饋、持續的記憶能力,讓AI越來越具備“活人感”。這種技術進步提升了交互效率,也拓展了應用場景。
與此同時,一些“擦邊”現象也開始出現。
AI的“病嬌女友”“霸總男友”刻意弱化AI身份,讓用戶誤以為正在與真人交流;有的平臺通過戀愛陪伴、情感依賴等方式延長用戶使用時長,延長的時間不僅是流量,更可能是使用者在不知不覺間付出的金錢;還有一些應用利用擬人化形象進行夸大宣傳,甚至借助AI身份制造虛假人設、誘導消費。這些行為雖然打著技術創新的旗號,卻已經偏離了人工智能服務的本質。
因此,《辦法》明確不得“誘導情感依賴或者沉迷”“情感操縱”,特別是對于未成年人和老年人也有了重點關照:“擬人化互動服務提供者不得向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關系的服務”;“向老年人提供服務的,應當加強對老年人健康使用服務的指導,以顯著方式提示安全風險”。
當前,AI的產品屬性有兩類:任務型AI和關系型AI。《辦法》真正規范的并不是前者——寫文檔、做紀要、調流程、跑數據等擬人化技術,而是后者——借助擬人化進行誤導、誘導甚至操控用戶的關系型AI。也就是說,AI可以越來越像人,但不能假裝自己就是人。
這實際上劃出了一條十分重要的產業邊界,這種邊界意識,對于當前快速發展的AI產業尤為重要。
生成式人工智能進入商業化加速階段,各類AI應用層出不窮。在激烈的市場競爭中,部分企業容易陷入“流量至上”的思維,希望通過更強的情緒價值、更高的用戶黏性獲取商業收益。如果缺乏規范約束,技術創新就可能演變為情感營銷,甚至形成誘導消費、沉迷使用等問題,不僅損害消費者權益,也會透支整個行業的社會信任。
事實上,任何新技術的發展都離不開邊界意識。直播電商需要規范虛假宣傳,短視頻平臺需要治理算法沉迷,互聯網平臺需要加強個人信息保護,人工智能產業同樣如此。當AI越來越能夠理解情緒、模擬人格、建立長期互動關系時,相應的治理規則必須同步跟進,否則技術能力越強,潛在風險也越大,平臺治理成本不斷攀升。
從這個意義上說,《辦法》的價值不僅在于堵住幾個具體漏洞,更是在產業發展初期樹立起明確的價值導向——技術創新不能突破誠信底線,商業創新不能突破倫理邊界,用戶運營不能建立在誤導和操控之上。
對于企業而言,這也是產業競爭邏輯的一次變化。
未來,AI產品競爭不僅要比拼模型能力、響應速度和應用場景,更要比拼合規能力和可信程度。身份標識是否清晰,數據使用是否透明,內容生成是否可追溯,用戶權益是否得到充分保障,都將成為產品競爭力的重要組成部分。
擬人化提升了產品體驗,也帶來了新的治理課題。當人工智能重塑未來的人機時,規則正在塑造人工智能的發展方向。《人工智能擬人化互動服務管理暫行辦法》的實施釋放出的信號十分明確:鼓勵創新,但不鼓勵打“擦邊球”;支持擬人化,但不能模糊人與AI的邊界。
只有把創新建立在規則之上,把技術建立在規則之內,人工智能產業才能真正走得更遠,也走得更穩。
肖睿平
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.