Mac Studio 打得過 RTX 5090 嗎？本地AI硬件的贏家不是更快的那個

作者 |Don

來源 | 至頂AI實驗室

蘋果WWDC 2026，大家期待的M5 Ultra 芯片沒有出現。身邊想用本地AI的朋友都在討論，倒是是選Nvidia顯卡，還是繼續等M5 Ultra。刷到一條視頻正好解答了這個問題：就算不等新芯片，現在能買到的 Mac Studio，能在本地AI這件事上打過 Nvidia 旗艦顯卡 RTX 5090 嗎？

Youtube視頻博主The Stack給的答案是肯定的，但不靠 Mac 跑得更快，是因為 Nvidia 顯卡有個繞不過去的硬傷。結論有點反直覺，所以背后的邏輯，值得仔細拆開講講。

內存才是第一道坎，不是算力先說關鍵詞：不是算力，是內存。在自己機器上跑大語言模型，模型必須整個塞進芯片能快速訪問的內存里，塞不下要么跑不起來，要么被迫溢出到系統內存，速度斷崖式下跌。所以判斷一臺機器能不能干這活，第一個問題從來不是"這顆芯片有多快"，而是"這個模型裝不裝得下"。

RTX 5090 恰恰在這道題上撞了墻。這張卡配的是32GB GDDR7顯存，硬頂，焊死在卡上，沒有升級空間。視頻里舉了個例子：一個700億參數的模型用Q4（把每個權重壓縮到約4比特的量化方式，本地部署最常用的檔位）跑，大概需要40GB才能裝下——32GB的5090裝不下，只能把部分層卸載到CPU，這時候地表最快的消費級GPU也會被拖得很慢。

蘋果走的是另一條路，叫統一內存架構：CPU和GPU共用同一塊高速內存池，GPU不再有獨立的一小塊顯存，頂配Mac Studio能把一整塊很大的內存池整個交給GPU裝模型。視頻里提到有人在Hacker News上曬出用一臺Mac Studio日常跑一個2350億參數視覺模型。

要在Nvidia那邊實現同等規模，得上一整套多卡集群，成本輕松破3萬美元；Mac這邊只是桌上一臺安靜的小機箱。

裝得下的話，5090照樣碾壓不過視頻也沒回避Nvidia的強項：只要模型能塞進32GB這個框，5090在單token生成速度上碾壓式領先，跑小模型能沖到每秒180多個token；兩邊都能覆蓋的模型區間里，5090比Mac快三到四倍。原因是內存帶寬——芯片來回搬運數據的速度。5090帶寬約1800GB/s，視頻對比的是M4 Max版Mac Studio，約550GB/s，差了三倍多。

所以結論很直接：實時語音、高并發這類對延遲極敏感的場景，直接上Nvidia。但陷阱在"只要模型裝得下"這個前提——大部分真正有意思的大模型，恰恰裝不進32GB。Apple不是靠更快贏的，是靠"這屋子里只有它還能把模型跑起來"贏的。

三年周期算總賬，不是一個量級

長期持有成本上，差距不是領先一點，是完全不同量級。跑中等模型的Mac mini功耗大概是同等RTX塔式機的十分之一，社區跑分反復印證：40瓦的Mac mini能打平功耗堪比小型電暖器的雙GPU主機。拉到三年周期，視頻引用的一份成本核算顯示，高配M5 Max MacBook Pro算上更低功耗和更保值的二手價，實際持有成本約2000美元；對應的RTX 5090整機接近4500美元。GPU價格隨供需波動大，這個數字更像某個時間點的快照。

軟件生態補上了最后一塊短板

早些年吐槽Mac跑本地AI的共識是軟件生態跟不上，CUDA幾乎等于整個生態，蘋果長期是局外人。這一點在過去一年多真的變了，也是這條對比現在才成立的原因。核心是蘋果自己的MLX機器學習框架，專為統一內存架構設計，現在是Mac上跑模型最快的路徑。140億參數以下的模型，MLX比老牌的llama.cpp后端快出不少；270億參數以上兩者收窄接近，因為瓶頸又回到了內存帶寬本身。

標志性的轉折點是，本地部署最常用的一鍵工具Ollama在2026年3月正式把Mac后端切換成了MLX，符合條件的機器解碼速度接近翻倍，某個混合專家架構（MoE，只激活部分參數參與計算的模型結構，天然更省帶寬）的編程模型提速接近三倍。

不過這次提速只惠及32GB內存及以上的Mac，8GB、16GB配置走的還是老路徑；不想碰命令行的話，配合LM Studio這類圖形界面工具也能拿到同樣收益。

三條硬傷：訓練、出圖、Ultra迭代慢半拍

視頻也很坦誠地列了幾條硬傷。訓練目前還是Nvidia的地盤——超出小規模微調，整條工具鏈包括FSDP（把單個模型拆分到多張GPU上分布式訓練的標準方法）都是圍著CUDA設計的。圖像生成也是Apple的短板，像Stable Diffusion 3.5這類擴散模型更依賴原始算力而非內存容量，實測M5 Max比5090慢了約五倍。蘋果高端還有個結構性問題：Ultra系列芯片總是比自家最新芯片慢一到兩代。視頻提到有人用四臺Ultra機器組集群、通過雷靂接口跑起了6710億參數的DeepSeek V3（一款開源大模型），技術上可行，但買的是落后自家最新一代的芯片。

至頂AI實驗室洞見

如果你考慮購買，我的建議是：

如果你是獨立開發者，做代碼輔助、檢索增強或agent工作流，模型規模通常在70億到700億參數區間，Apple Silicon更合適，性價比最高的是48GB內存的Mac mini M4 Pro，約1800美元，安靜省電。需要日常跑千億參數級大模型，Ultra版Mac Studio是唯一說得過去的單機方案，只是要接受它落后自家最新芯片一兩代。

反過來，大規模微調訓練、圖像生成，或需要在32GB以內追求極致吞吐延遲，那還是老實上Nvidia。

這條視頻給我最大的啟發，是把"更快"和"更能用"拆開看了。本地AI現在被卡住的是內存能塞下多大的模型，不是芯片算得多快。這個瓶頸還在，容量就比速度更值錢。對預算有限、只想安靜跑個大模型的個人開發者來說，這個視角比單純比拼跑分實用得多。

END本文來自至頂AI實驗室，一個專注于對AI計算機、工作站及各類AI相關硬件設備，開展基于真實使用場景評測的研究機構。