2024年,數據問題已經不再只是存儲問題。
它變成了意義問題。
![]()
我們今天不看關于“大數據”的浪漫敘事,也不是又一篇關于數據湖倉的廠商承諾,更不是一篇籠統的AI基礎設施文章。我們要關注的是管道里正在涌入的壓力:全球數據產生量、數據中心電力消耗、云遷移、數據湖的采用率,以及我們所存儲的東西和我們能夠誠實解讀的東西之間的落差。
立場很簡單:數據湖本身不是問題。缺失的準入層才是。
我們一直在建更大的地方來存放數據。這當然有用。但如果數據在抵達時,沒有附帶來源信息、質量狀態、矛盾處理方式、計量單位、政策版本和聲明邊界,那么數據湖就會變成一個讓不確定性隱形的地方。
關于全球數據總量的公開估算結果各有不同,因為“已創建、捕獲、復制和消耗的數據”并沒有一個統一的通用公開計數器來衡量。但量級是清晰的。
IDC的Global DataSphere項目追蹤了全球創建、捕獲和復制的數據。更早的IDC關聯報告曾預測到2025年全球數據量約為175ZB,而更新的二手資料匯總則將2024年的全球數據圈定在約149ZB,2025年約為181ZB。
這些數字需要謹慎解讀。它們不等同于“經過整理的數據”、“可信數據”或“可查詢的數據”。絕大多數數據并不會變成干凈的證據。ZB級別的估算告訴我們的是體量壓力。它并沒有告訴我們這些數據是否具備決策的可采信性。
這個區別很重要。
在一個數據湖里,原始數據、日志、模型輸出、嵌入向量、表格、文檔、圖像和科學產物都可以共存。這很強大,因為存儲是靈活的。但靈活性制造了一個二階問題:當一切都可以被存儲時,嚴峻的考驗就變成了每一個對象被允許支撐什么。
這條記錄能支撐一個儀表盤嗎?
這個模型輸出能支撐一項聲明嗎?
這個模擬結果能支撐一篇論文嗎?
這項基準測試能支撐一個產品決策嗎?
這份舊文件能在新政策下被復用嗎?
如果數據湖不保留這些邊界,整個系統可能看起來很豐富,卻在認知層面變得貧瘠。
國際能源署估算,2024年數據中心的電力消耗約為415太瓦時,大約占全球電力消耗的1.5%。同一份國際能源署的頁面顯示,過去五年,數據中心的電力消耗以每年約12%的速度增長。
這就是數據流的物理側面。
每一條管道都有物質足跡。它需要電力、冷卻系統、服務器、網絡設備、存儲介質、復制、監控、備份和人力運維。當AI工作負載進入這個閉環,數據湖就不再只是一個被動的存檔。它變成了推理、檢索、充實和訓練生態的一部分。
這并不意味著“停止建設數據中心”。那不是一個嚴肅的答案。醫院、研究實驗室、學校、安全團隊和公共事業都需要計算能力。真正的問題是,我們是否在承認一個管道正在從“存儲所有東西”悄悄轉向“讓所有東西變得可引用”。
可引用性是一種比可訪問性更嚴格的標準。一個對象只有在附帶了關于其適用范圍的明確限制時,才能被安全地用于推理。這在傳統數據治理中往往不是一個頭等概念,但它正在迅速成為AI世界里唯一重要的事。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.