企業擁抱AI，一定要讀下Anthropic踩過的坑

有些文章是現場實踐的實錄，就特別值得細讀下，而這種文章不多，近來看到一篇。這里我做些解讀。文章原文在：https://claude.com/blog/how-anthropic-enables-self-service-data-analytics-with-claude

文章說了什么

Anthropic 這篇《How Anthropic enables self-service data analytics with Claude》的核心觀點其實不是“Claude 會寫 SQL”，而是：

分析準確性本質上是數據問題，而不是代碼生成問題。

(這個比較當然有意義，但我想說的是這比較本身其實是有問題的，有問題的點在于：比較兩頭豬是可以的，但比較豬和蜻蜓就意義不大)

這文章也明確承認：數據和軟件模型不是一個問題。類似的觀點我們前面各種文章多有表達，比如：數據是生產關系的折射等等。

此外文章透露了幾個非常關鍵的數據：

• Anthropic 內部約 95% 的分析請求已經由 Claude 自動完成 。

• 整體準確率約 95% 。

• 如果沒有專門構建的 Skills（領域知識和操作規范），準確率只有 21% 左右 。

• 即使上線時達到約 95%，如果不持續維護這些 Skills，一個月后準確率會下降到 65% 左右 。

這種蹦跳也是上面觀點的另一種佐證，如果是模型的精度問題，那絕不可能快速從21%跳到95%，然后再跳回到65%。

徹底搞清楚這是為什么，對于擁抱AI至關重要。側面則是這種蹦跳說明Anthropic其實并沒搞定這個。

Anthropic認為分析系統主要有三類錯誤：

1. 實體歧義（Entity Ambiguity）

   • “收入”“活躍用戶”到底對應哪個定義？

   • 同一個概念可能對應幾十張表和多種計算方式。

2. 數據陳舊（Staleness）

   • 業務變了，文檔沒更新。

   • 表結構變了，分析邏輯沒更新。

3. 檢索失?。≧etrieval Failure）

   • 正確答案其實存在，但 Agent 沒找到。

因此他們構建了一個完整的數據治理體系：

• Semantic Layer（語義層）

• Canonical Metrics（統一指標定義）

• Skills（領域知識文檔）

• 持續維護機制

• PR 和 CI 聯動校驗

甚至明確提到：

沒有執行力的治理會迅速失效。

不管怎么樣，這篇文章給出的實踐細節，很值得一讀。具體的技術措施反倒是不一定有用。

我的評論

我讀完這篇文章后的第一感受是：

Anthropic其實并沒有解決 Self-Service Analytics，而是證明了數據治理才是真正的問題。

文章最有價值的部分不是那句“95%的分析請求由Claude完成”，而是他們反復強調：

數據不是軟件。當然數據也不是模型。

事實上，Claude寫SQL并不難。

真正難的是：

• 什么叫 Revenue？

• 什么叫 Active User？

• 哪張表是權威來源？

• 哪個指標定義是當前有效版本？

這些都不是模型能力問題，而是數據治理問題。

這和技術也沒有關系，技術難度幾乎是0，但現實難度卻指數級上升。

我甚至預感，其實他們的95%也還是保持不住。如果計算機科學家們還是嘗試用更好的技術來解決這個問題，那大概率會有這個結果。

原因正是上面說的數據不是軟件，也不是模型。它是生產關系的表現。

AI first說的是生產關系上AI優先，從這個角度看其實Anthropic還不是徹底的AI first。

從精度波動充分暴露了這個問題。Anthropic的數據外部性其實不強，比如石油公司真想數據充分，那至少依賴傳感器，而Anthropic其實主要是團隊的運轉規則。

Anthropic展示的數據非常有意思：

• 沒有 Skills：21%

• 有 Skills：95%

• 不維護 Skills：95% → 65%（一個月）

如果這是一個純 AI 問題，那么隨著模型能力增強，精度應該持續上升。

但這種橫跳呈現出的現實卻是：

模型能力已經足夠強，而系統表現仍然高度依賴數據層和治理層。

換句話說：

Claude這種模型并不是決定系統質量的主要因素。

真正決定質量的是：

• 數據模型

• 指標治理

• 元數據管理

• 文檔維護

• 組織流程

Claude更像是最后一層接口。

也就是說橫跳是內部運轉狀態的橫跳，好壞都是生產關系的臨時扭曲后的結果。

我經常直播的時候說，我的《無人公司》其實是三部曲，馬上要出來的是前傳，講的正是上面的問題。明年出后傳。沒看過《無人公司》的還是要先讀下。

數據難度的來源

一個必須的思想鋼印是：數據難度和技術難度根本不在同一個維度。

技術問題通常是：

知道怎么做 → 投入資源 → 最終能做出來。

而數據問題通常是：

知道怎么做 ≠ 能長期做到。

Anthropic自己已經知道：

• 哪些指標是標準指標；

• 哪些文檔必須維護；

• 哪些知識需要同步；

• 哪些表是權威來源。

但即便如此，如果停止維護，一個月內準確率仍然從95%跌到65%。

(除了skills這種說法發，其實是不是和過去差別不大）

這里說明的是：

數據治理最大的挑戰從來不是認知問題，而是人的執行問題。

大家通常都知道：

• 污染源在哪；

• 哪些工廠排污；

• 應該采取什么措施。

真正困難的地方不是找到問題，而是：

• 持續監管；

• 持續執法；

• 持續維護。

否則治理成果很快反彈。

數據治理也是一樣，知道哪些表有問題不難，知道哪些指標定義不一致也不難，難的是讓整個組織在數年時間里：

• 保持統一定義；

• 保持文檔同步；

• 保持數據質量；

• 保持執行紀律。

（這圖看著很復雜其實是在技術性的定義什么是active）

那種情況數據精度極高？我想外賣小哥、滴滴司機、甚至主播的數據其實精度是很高的。因為你所有的舉動都是被充分數據化的，數據化的規則在人的上面(上古時代的AI first）。

那種情況數據注定腐爛呢？人是一套獨立的組織體系，然后這些數據被后面的規則進行治理。原因很簡單的足夠的活性=足夠的數據混亂。從數據精度看，如果用治理河流來類比，人其實是污染源。

我不相信哪些天才科學家和程序員，愿意循規蹈矩的貢獻自己的數據。如果他愿意了，他可能也就沒那么大的價值。

假設換到OpenAI，奧特曼讓Greg Brockman天天精準貢獻數據，那OpenAI的折騰歷史沒準還能更豐富一些。

這還真是兩難。很多人可能不知道，《無人公司》這書真就是我做了大量上面類似的工作后寫的。

透視

正常的話很多人會在這里總結出一堆新的數據治理原則。（文章里面也總結了一些）。類似下面這樣：

而這，恰恰是這篇文章最值得企業管理者思考的地方。

我覺得關鍵恰恰不是這個。上面這類思路也有用，但會錯過AI帶來的最大紅利。

為什么？

因為數據治理這事難度沒變化，過去搞起來費勁，現在也費勁，你整個3年的數據治理，世界早不知道什么樣子了。

那關鍵是什么呢？

不要說產生數據，再做什么數據治理。而是一開頭就按照AI First重新設計業務。要評估的是是否這活能完全由AI來干，人去輔助AI。一旦這個目標達成，你就會發現雖然數據治理的成本不是0，但已經指數級下降。

因為數據本來就是按規則產生的數據。這是《無人公司》的基本出發點，很多人當技術書來看，可能會錯過最關鍵的點。

這是撕開過去經濟形態，并且樹立未來智能體經濟的“竅門”！

小結

當我寫《縫隙理論》那篇文章的時候，就一直在強調，企業真的用好AI其實第一關鍵不在于理解AI這門技術，而在于身處縫隙中理解兩者應該如何綜合。意思其實和上面差不多，只不過這次更具體了一些。

大家可以再次回顧下當年：模型即產品一說，你會發現特別無厘頭。