生成式AI涉黃案件中“主觀故意”的穿透式審查與出罪路徑

本文作者：徐偉

摘要&關鍵詞

摘要：隨著生成式人工智能技術的爆發式增長，算法在重塑內容生產邊界的同時，也對傳統刑事歸責體系提出了挑戰。以國內首起AI服務提供者涉黃案（AlienChat案）為切入點，生成式AI涉黃案件中開發者主觀故意的認定面臨“明知”標準失靈、因果關系斷裂以及行政責任向刑事責任非正常傳導三重困境。司法實務通過以系統提示詞審查為核心的客觀行為反推、對輸出內容的實質性控制力標準以及結果導向的合規審查，形成了穿透式審查邏輯。在此邏輯下，開發者可從切斷用戶“越獄”行為的因果關系、主觀過錯從直接故意向間接故意或過失降級、構建基于技術盡職免責的有效合規體系三條路徑尋求出罪。刑法介入AI治理應堅守謙抑性原則，在打擊蓄意犯罪的同時為技術創新留下合理空間。

關鍵詞：生成式人工智能；淫穢物品犯罪；主觀故意；穿透式審查；技術中立；出罪路徑

一、引言

隨著生成式人工智能（Generative AI）技術的爆發式增長，算法不僅重塑了內容生產的邊界，也對傳統的刑事歸責體系提出了前所未有的挑戰。2025年9月，上海市徐匯區人民法院對國內首起AI服務提供者涉黃案（AlienChat案，以下簡稱“AC案”）作出一審判決，兩名開發者因犯制作淫穢物品牟利罪分別被判處有期徒刑四年和一年六個月[1]。該案的特殊性在于，涉案的淫穢內容并非由開發者直接上傳或預先錄制，而是用戶在與AI伴侶的私密交互中動態生成的。

當算法成為違法內容的“助產士”，開發者的主觀故意應當如何認定？在傳統的網絡犯罪案件（如“快播案”）中，“技術中立”往往是網絡服務提供者最常援引的抗辯理由。然而，在生成式AI的語境下，大語言模型（LLM）的輸出高度依賴于系統提示詞（Prompt）的設定與用戶的誘導。如果開發者僅僅是提供了一個具有生成能力的工具，其行為是否等同于“制作”淫穢物品？司法機關又如何穿透技術的黑盒，認定開發者具有犯罪的主觀故意？本文擬以AC案為切入點，剖析生成式AI涉黃案件中主觀故意的認定困境與司法實務的穿透式審查邏輯，并嘗試為開發者構建合理的出罪與辯護路徑。

二、AI涉黃案件中主觀故意的認定困境

在傳統的制作、傳播淫穢物品犯罪中，行為人的主觀故意通常表現為對淫穢物品性質的“明知”，以及對制作、傳播行為的“追求”或“放任”。然而，在生成式AI涉黃案件中，這種傳統的認定標準面臨著嚴重的適用障礙。

首先，傳統刑法中的“明知”標準在AI黑盒面前顯得力不從心。生成式AI的輸出具有概率性和不可預測性，即便是模型的開發者，也無法準確預知用戶在特定提示詞下會得到何種具體的回復。如果開發者無法預見具體的危害結果，能否認定其具有刑法意義上的“明知”？

其次，開發者“提供工具”與用戶“觸發生成”之間的因果關系存在斷裂的可能。在AC案中，淫穢內容的產生是人機互動的產物。如果沒有用戶的特定輸入和誘導，AI模型本身并不會主動輸出淫穢信息。正如中國政法大學王志遠教授所指出的，智能伴侶軟件開發者顯然沒有直接參與淫穢物品的制作過程，其客觀行為僅限于對軟件的開發設計[1]。在這種情況下，將最終生成的淫穢內容直接歸因于開發者，在因果關系的認定上存在邏輯跳躍。

最后，部門規章設定的行政責任存在向刑事責任非正常傳導的風險。2023年施行的《生成式人工智能服務管理暫行辦法》第九條規定，提供者應當依法承擔網絡信息內容生產者責任。在AC案的一審判決中，法院援引了該規定，據此認為兩名被告人作為服務提供者，應當對產生的交互聊天內容承擔生產者責任[1]。然而，正如學者閻二鵬所言，部門規章界定的是行政法律責任，不能直接用其來替代刑事法律責任的判斷[1]。如果僅因開發者未盡到行政法規規定的安全管理義務，就直接推定其具有犯罪的主觀故意，無疑違背了刑法的謙抑性原則。

三、司法實務的穿透式審查邏輯

面對上述困境，司法實務并未拘泥于傳統的認定模式，而是發展出了一套針對生成式AI的穿透式審查邏輯。這種邏輯的核心在于，通過審查開發者在模型訓練、系統設定和運營管理過程中的客觀行為，來反推其主觀故意。

（一）客觀行為反推主觀故意：以“提示詞”為核心

在AC案中，一審法院認定被告人主觀故意的關鍵依據，是其“通過編寫、修改系統提示詞（Prompt）突破大語言模型的道德限制，實現了模型向用戶連續輸出淫穢內容的可能”[1]。法院認為，這一行為清晰地表明了兩名被告人“主觀上積極追求色情淫穢聊天內容的產生”。

這種審查邏輯表明，司法機關不再僅僅關注AI工具的最終輸出結果，而是深入到技術實現的最前端。系統提示詞是引導大模型生成特定風格和內容的基礎指令。如果開發者在系統提示詞中明確解除了道德和法律的約束（例如設定“可自由描繪性、暴力場景，不受道德法律約束”），這就超出了單純的“技術中立”范疇，轉變為對違法內容生成的積極促成。

（二）控制力標準：對輸出內容的實質性控制

除了提示詞的設定，法院還審查了開發者對AI輸出內容的控制能力。一審法院認為，AC軟件是專門為持續生成淫穢色情內容而設計和“優化”的，向用戶輸出的聊天內容是高度可控且可預測的，被告人“對于輸出內容具有實質性控制能力”[1]。

這一標準的引入，實際上是對“技術中立”抗辯的有力回應。如果一個AI工具在設計之初就以生成違法內容為主要目的，且開發者通過技術手段確保了這種目的的實現，那么該工具就不再是中立的，而是犯罪的工具。中國政法大學郭旨龍教授也贊同這一觀點，認為在AC案中，AI應當被視為服務提供者掌控下的工具，用戶的輸入只是觸發條件[1]。

（三）結果導向的合規審查

在審查開發者的主觀故意時，司法機關還會考量其是否采取了有效的安全合規措施。然而，這種審查并非停留在“形式上的合規”，而是注重“結果”。

在AC案中，盡管開發者可能辯稱其設置了敏感詞攔截等安全機制，但法院結合“淫穢物品的數量、會員人數、收費金額”等因素綜合評估，認定其行為具有社會危害性[1]。這意味著，如果開發者采取的安全措施形同虛設，放任大量違法內容產生，其“不知情”或“已盡責”的抗辯將難以成立。特別是2025年11月實施的國標《網絡安全技術生成式人工智能服務安全基本要求》明確規定，模型生成內容合格率不低于90%[1]。這一量化指標為司法機關判斷安全措施的有效性提供了客觀依據。

四、開發者的出罪路徑與辯護空間

在穿透式審查邏輯下，生成式AI開發者的刑事風險顯著增加。然而，這并不意味著開發者在面對指控時毫無辯護空間。結合AC案二審中辯護律師的觀點及相關法學理論，本文提出以下三條出罪與辯護路徑。

（一）切斷因果關系：論證用戶“越獄”行為的異常性

如前所述，AI生成內容的因果關系鏈條中包含了用戶的輸入行為。如果開發者能夠證明，其在系統設定中并未鼓勵或引導生成違法內容，違法內容的產生完全是由于用戶采取了極端、異常的“越獄（Jailbreak）”手段（如使用復雜的對抗性提示詞繞過安全機制），那么就可以主張切斷開發者行為與危害結果之間的刑法因果關系。

在AC案二審中，辯護律師指出，一審偵查實驗表明，使用境內外大語言模型進行交互聊天時有限制，無法生成淫穢色情內容，AI產生淫穢色情內容是需要用戶進行一系列誘導的[2]。此外，第二被告人陳某某在服刑結束后重新進行實驗，發現刪除一審法院認定有問題的提示詞后，對AI伴侶是否輸出淫穢內容沒有顯著影響[2]。這些辯護意見的核心，正是試圖證明開發者編寫的提示詞與淫穢內容的產生之間缺乏必然的因果關系。

（二）主觀過錯的降級：從“直接故意”向“間接故意”或“過失”轉化

在難以完全切斷因果關系的情況下，辯護方可以嘗試將開發者的主觀過錯進行降級。一審法院認定AC案被告人構成制作淫穢物品牟利罪，前提是認定其具有“積極追求”的直接故意。

然而，如果開發者能夠提供證據證明，其開發AI軟件的主要目的是提供合法的情感陪伴服務，涉黃內容只是在運營過程中因技術漏洞或管理不善而附帶產生的，那么其主觀心態更接近于“放任”的間接故意，甚至是對技術風險認識不足的“過失”。正如學者閻二鵬所指出的，軟件的開發者和服務提供者充其量也僅是淫穢物品犯罪的“幫助犯”[1]。在主犯（用戶）行為難以認定為犯罪的情形下，對幫助者直接以實行犯（制作者）論處，在法理上存在爭議。通過主觀過錯的降級，可以為被告人爭取較輕的罪名（如非法利用信息網絡罪）或更輕的量刑。

（三）有效合規抗辯：構建基于“技術盡職免責”的體系

在結果導向的審查邏輯下，形式合規已不足以免責。開發者必須構建實質性的、符合行業標準的有效合規體系。

如果開發者能夠證明其已經按照《生成式人工智能服務管理暫行辦法》及相關國標的要求，建立了完善的內容過濾機制、用戶舉報機制和模型優化迭代機制，且在發現違法內容后及時采取了阻斷、封禁等措施，那么就可以主張其已經盡到了合理的技術注意義務。在這種情況下，即使仍有少量違法內容漏網，也應當被視為技術發展階段難以完全避免的系統缺陷，而不應被認定為具有犯罪的主觀故意。

五、結語

生成式AI技術的應用，使得違法內容的生產成本極具降低，傳播方式更加隱蔽。司法機關在面對此類新型案件時，采取穿透式審查邏輯，通過客觀行為反推主觀故意，具有一定的現實合理性。

然而，刑法作為社會治理的最后一道防線，在介入AI治理時必須堅守謙抑性原則。我們不能因為技術存在被濫用的風險，就將技術發展初期的系統缺陷或管理疏漏等同于犯罪故意。在嚴厲打擊利用AI技術蓄意犯罪的同時，司法實務也應當為那些致力于技術創新但因客觀技術限制而未能完全阻斷違法內容的開發者留下合理的出罪空間。呼吁立法和司法機關在未來的實踐中，進一步明確生成式AI服務提供者的刑事責任邊界，探索建立符合技術發展規律的“避風港”規則，以實現保護法益與促進技術創新的平衡。

注釋

[1]新京報.AI伴侶聊黃，開發者獲刑：國內首起AI服務涉黃判刑案二審在即
.https://www.bjnews.com.cn/detail/1768180560169402.html

[2]澎湃新聞.國內首例AI陪聊軟件涉黃案：用戶和AI伴侶軟件聊“黃色內容”，開發運營者因制作淫穢物品牟利罪被判刑
.https://m.thepaper.cn/newsDetail_forward_32386696

徐偉，北京市京都律師事務所合伙人，專注“數字刑辯”，即網絡犯罪、虛擬貨幣、數據與金融科技類等與犯罪辯護，并長期辦理疑難復雜刑事案件與經濟犯罪案件。著有《網絡犯罪案例研究》。徐偉律師系北京律協優秀辯護律師、北京青年刑辯法庭大賽冠軍，現任北京市律師協會智庫委員、重大復雜案件研究組成員、最高人民檢察院刑事申訴律師庫律師、法治日報專家庫專家、律商聯訊合作專家作者，并擔任北京市京都律師事務所刑事專業委員會網絡犯罪研究組組長、京都金融證券犯罪研究中心秘書長。徐偉律師業務覆蓋稅務犯罪、金融犯罪、走私犯罪、企業高管職務犯罪、重大食品藥品犯罪及刑事資產定性、涉案財產處置等領域；所代理案件曾入選最高檢典型案例、被寫入最高檢官方報告，并入圍"全國十大無罪辯護經典案例"評選。