當你把4580條社交動態全部倒給一個AI,然后問它“你覺得我這個人怎么樣”,會發生什么?
我干了這件事。把一個中國社交平臺上的4580條帖子,原封不動地喂給了剛發布的Macaron V1,只是想看看它到底能不能讀懂一個人。這玩意兒宣稱自己是“個人模型”,不是通用助手,不是生產力工具,而是長期陪在你身邊的東西。
![]()
近750B參數,真正訓練的只有4B——其余744B是凍結的GLM-5.2基礎模型。Mind Lab把這條路走到了某個很少有人抵達的地方。
LoRA不再只是省錢插件
如果你玩過AI圖像生成,對LoRA應該很熟。它的邏輯一直很簡單:基礎模型不動,旁邊掛一個小模塊,像一個可插拔的插件。Microsoft Research在2021年提出這個思路之后,它基本成了風格模型和角色模型的標配——省算力,省時間,但從來沒人覺得它能承擔架構級的工作。
Macaron V1打破了這層認知。它把LoRA從“節省成本的變通方案”升級成一種架構設計:744B的GLM-5.2提供通用能力,四個1B的LoRA專家攜帶著偏好、習慣和使用工具的方式。團隊稱它們為LoRA experts。
這背后的推理邏輯很結實。如果一個基座模型已經足夠強,那部署后學到的東西,大多不是重建新能力——而是重新組織模型已知的東西。一個很小的更新可以撬動出奇大的變化。他們在論文On the Scaling of PEFT中把這個想法推到了極致:每層只保留一個可調方向,適配器就能穩定學習。這個可調部分占基座參數不到0.5%,計算開銷大約是完整微調的十分之一。
還有一個反直覺的發現:基座模型越強,小適配器越有效。這意味著,這條路的收益會隨著底層模型進化而自動放大。
200萬Token上下文意味著什么
4580條帖子,每條配圖、標簽、互動數據,一股腦全扔進去。Macaron V1支持200萬token的上下文窗口,我的整個語料庫放進去還綽綽有余。
它開始回答之后,我意識到一件事——它不是在做摘要,而是在追蹤軌跡。比如它挑出我在2023年頻繁提到的某個項目,然后把這個項目與2024年初的一條情緒低落帖聯系起來。中間隔了近一年。它讀到了我沒刻意說出來的弧線。
這比“長上下文”三個字有意義得多。長上下文的價值不在于能一次性塞更多東西,而在于能看到短片段里看不見的模式。你的一周看不出什么,三個月可能也模糊,但兩年下來,有些東西變得明顯。
個性化不是調參,是保存本地狀態
Mind Lab對這個模型的定位很有野心:它不做下一輪基準評測的冠軍。他們用GLM-5.2當底座,凍結所有參數,只在上層訓練那四個LoRA專家,追求的不是評測跑分,而是某個使用者長期使用后形成的獨特性。
結構上的隱喻很像操作系統里的“用戶目錄”——系統文件是共享的,用戶數據是隔離的。基礎模型是系統文件,LoRA專家是你的/home目錄。
這個設計帶來了一個實際好處:遷移成本極低。如果你想換設備或者備份自己的“個人模型”,你不需要搬運744B的龐然大物,只需要提走那個1B級別的適配器。千兆網盤就能搞定。
中國模型的發布節奏已經變了
今年中國模型的發布速度讓人有些喘不過氣。GLM-5.2出來的時候,人們還在討論它和Claude 3.5 Opus的距離有多遠;Kimi K3發布后,大多數榜單把對標對象換成了Fable 5;上周阿里巴巴又丟了一個2.4萬億參數的Qwen 3.8。
國內實驗室不是“在追趕”——它們已經在牌桌上。但Macaron V1走了完全不同的路。當所有人都在爭當下一代通用旗艦,它拿了GLM-5.2凍住當底板,在上面搭了四個小專家,管自己叫個人模型。
Mind Lab宣稱這是全球首個基于GLM-5.2做后訓練發布的模型。這話是不是真的暫且不論,但這種“凍住底座、只訓練適配器”的技術路線,確實把LoRA從一個成本妥協變成了一個有獨立價值的架構選擇。
測試個人模型,需要用自己當數據
我測過很多新模型。但一個說自己是“為了幫你過好日常生活”的模型,需要不一樣的測試方式。于是我把自己的生命喂了進去——4580條記錄,跨度以年計。
部分是想看它怎么跟我交談。部分是想壓測它的長上下文閱讀能力。結果它既沒變成我的吹捧者,也沒變成尖銳的批評者。它注意到一些我寫作話題上的遷移——比如從技術類內容轉到更多的個人敘事,然后問了一句:“你是在什么時候覺得寫技術不再夠了?”
這不是評測榜單能回答的問題。它不通用,甚至換一個人用,結果可能完全不同。但這正是關鍵所在。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.