DGX Spark 效能解析：128GB、tokens/s、1 PFLOP 與 RTX 5090 到底差在哪？
- Mike's Tech
- 1天前
- 讀畢需時 4 分鐘
DGX Spark 有 128GB Unified Memory，又被 NVIDIA 稱為 Personal AI Supercomputer。
照理來說，應該是一台非常強的 AI 電腦。
但實際上市後，網路上的評價卻很兩極：有人喜歡它能處理大型 AI 模型，也有人嫌速度不如預期，甚至把它形容成「昂貴的 AI 玩具」。
原因其實可以濃縮成一句話：
DGX Spark 的強項是「裝得下大型模型」，不代表所有 AI 模型都跑得最快。
如果還不清楚 DGX Spark 的主要用途，可以先閱讀〈DGX Spark 是什麼？為什麼 AI 開發者會需要這台 128GB 桌面 AI 工作站？〉。
Token、tokens/s 是什麼？
玩 Ollama、LM Studio 或本地 LLM 時，很常看到 tokens/s。
Token（文字單位）可以非常簡單地理解成 AI 看文字時使用的「一小段文字」。
而 tokens/s，就是 AI 每秒可以產生多少 Token。
例如同一個模型，一台電腦跑 50 tokens/s，另一台只有 15 tokens/s，前者通常就會讓人感覺：
AI 回答得比較快。
所以 tokens/s 是本地 AI 玩家很常用來觀察模型實際速度的指標。
DGX Spark 的 128GB 強在哪？
這裡可以把 AI 電腦想像成一間物流中心。
記憶體容量，就是倉庫大小。
記憶體頻寬，則像倉庫外面的道路有多寬。
DGX Spark 有 128GB Unified Memory，記憶體頻寬為 273GB/s。
它就像：
有一座非常大的倉庫。
優勢是可以容納更大的 AI 模型。
但倉庫很大，不代表門口的高速公路一定最快。
DGX Spark 與 RTX 5090 差在哪？
RTX 5090 則剛好呈現另一種特色。
NVIDIA 官方規格為 32GB GDDR7，記憶體頻寬達 1,792GB/s。
所以很粗略地比喻：
RTX 5090：倉庫比較小，但高速公路非常寬。
DGX Spark：倉庫大很多，但高速公路沒有 5090 那麼寬。
如果今天模型只有 20GB、30GB，兩台都裝得下，那 RTX 5090 很可能有更漂亮的實際推論速度。
但如果模型需要 50GB、80GB，甚至更多空間，RTX 5090 的 32GB VRAM 就可能開始碰到容量問題。
這就像：
Ferrari 跑得再快，你今天如果要搬一張雙人床，第一個問題還是「塞不塞得進去」。
因此：
tokens/s 解決的是「跑多快」。
128GB 解決的是「裝不裝得下」。
兩者其實不是同一個問題。
1 PFLOP 算力代表什麼？
DGX Spark 還有一個很醒目的規格：
最高 1 PFLOP（AI 算力）。
PFLOP 可以非常簡單地理解成：
電腦處理 AI 數學運算的能力。
數字越高，代表理論上能在短時間完成更多運算。
但 DGX Spark 的 1 PFLOP，是在特定 FP4 precision with sparsity 條件下的峰值能力。
它不代表任何 AI 模型跑起來都一定比 RTX 5090 快。
就像一台汽車寫著：
極速 300km/h。
這個數字可以是真的，但實際上路還要看道路、車流與交通狀況。
AI 也是一樣。
模型、量化方式、記憶體頻寬、推論軟體與最佳化程度，都會影響最後實際看到的速度。
簡單記就好：
PFLOP 比較像「理論算力」，tokens/s 則比較接近「AI 實際回答有多快」。
DGX Spark 到底適合誰？
如果主要跑的是中小型模型，而且非常重視最高 tokens/s、價格與一般 GPU 效能，高階 RTX GPU 可能會更直接。
但如果需求已經變成：
大型 LLM、Local AI、RAG、AI Agent、多模型同時運行，或者一般 GPU VRAM 已經開始不夠，
DGX Spark 的 128GB 就會開始展現價值。
所以有人覺得 DGX Spark 很慢，可能沒有錯。
有人覺得 128GB 非常實用，也可能沒有錯。
因為兩邊真正需要的東西不同：
一邊要的是「更快」，另一邊要的是「裝得下更大的模型」。
選 AI 硬體，還是要回到實際需求
企業在規劃 AI 環境時，不應該只看哪一張 GPU 最快，或哪台機器的 AI 算力數字最大。
還要一起考慮：
模型需要多少記憶體、資料是否能上雲、使用人數、未來擴充，以及設備後續由誰維護。
真正適合企業的 AI 硬體，不一定是規格最高的，而是能符合實際工作方式、預算與後續維護需求的方案。
麥克鈦資訊會持續整理 AI、電腦硬體、Local AI 與企業資訊應用相關資訊，幫助大家用更容易理解的方式掌握新技術。
如果企業正在評估 AI 工作站、Local AI 硬體環境、電腦設備規劃、資訊系統或後續 IT 維護，也歡迎與麥克鈦資訊討論實際需求。
👉 麥克鈦官方 LINE@：@mikestechtw
追蹤麥克鈦，持續掌握 AI、電腦科技與企業 IT 資訊
留言