北京
很多人認為給AI更長的上下文窗口就等于給了它更好的記憶。這可能是當前對大型語言模型最普遍的誤解。事實上，上下文窗口只是讓模型在單次推理中能“看到”的信息變多了，它并不提供持久的記憶，模型依然不會真正記住之前發生過什么，也不會知道未來該重視什么。
用系統工程師熟悉的層級結構來理解會更清楚。上下文窗口最像CPU緩存：速度極快，但天然是臨時的。處理器在工作中需要立即訪問數據，所以數據不斷流過緩存，沒有任何東西打算在里面長住。上下文窗口扮演的角色幾乎相同：它承載本次推理步驟所需要的信息。推理一結束，這個工作狀態就消失了，除非有另一個組件刻意把其中的內容保存下來。某種程度上，上下文窗口更應該看作一個執行面，而不是記憶系統。推理在這里發生，但知識不在這里定居。上下文是借來的，記憶是整理過的；前者只存續于推理期間，后者存在的意義就是讓推理不用每次都從頭開始。
如果上下文窗口是CPU緩存，那么下面幾層也需要有真實的對應物。主動工作記憶是系統的內存，包括為當前任務檢索到的文檔、工具返回結果和各種中間狀態，它比單次緩存活得久，但不會超出一整個會話。持久記憶是文件系統：那些有意寫下來的決策、證據和領域知識，它們會在生成它們的提示詞早已消失之后依然存在。推理賬本如同Git記錄，它不光是系統知道了什么，更是系統如何知道這些的，包含隨時間積累的修訂和糾正。與之相反的做法是把原始日志一股腦扔進存儲，再指望將來靠搜索還原推理過程——這種“數字閣樓”模式正是推理賬本想避免的。寫入端保管還要保證進入持久記憶的每一條信息都可溯源、可驗證、事后難以篡改。上下文窗口在推理期間會觸及所有這些層，卻無法替代其中任何一個。如果混淆了這些層，就像期望用CPU緩存取代文件系統，只能在進程退出之前勉強奏效。
現代模型的上下文窗口已經擴展到數十萬甚至數百萬token，技術上確實令人驚嘆。但這絲毫沒有減輕“散文稅”——也就是從冗長、模糊或者條理不清的信息中還原真實意圖所付出的成本。更大的窗口只是把你可花的預算上限提高了，完全沒有告訴你花得是否值得。而且在越過某個臨界點后，多出來的空間反而會起反效果。正如一位研究者所言，“超長上下文會誘使你倒入更多未經整理的信息，模型要耗費額外算力去區分哪些是噪聲、哪些是信號，推理質量不升反降。”這意味著單純堆高上下文窗口長度不能解決輸入質量差的問題，做不好信息整理，再大的執行面也只是堆滿雜物的工作臺。
所以真正需要的不只是一個巨大的臨時工作區，而是一套能持續進行信息篩選、寫回和版本管理的記憶架構。如果離開這些，無論上下文窗口擴張到多少token，AI仍然每次推理都在重新理解世界，毫無積累。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
