選購指南

AI 運算主機怎麼配？跑本地 LLM 與深度學習的硬體指南

作者：呈威國際資訊2026年7月12日

越來越多工程師、研究者和企業想把 AI 模型搬回自己機器上跑──資料不外流、沒有 API 費用、想怎麼調就怎麼調。但 AI 主機的配置邏輯和電競機完全不同，這篇講清楚錢該花在哪。

本地大型語言模型（LLM）能不能跑得動，九成取決於顯示記憶體容量。粗略對照：7B 級模型量化後約需 5–6GB、14B 約 10–12GB、32B 約 20GB 上下、70B 級則需要 48GB 以上或多卡分擔。VRAM 不夠，模型連載入都載不進去──再強的核心都沒用。

24GB 是目前本地 LLM 的甜蜜點，可以流暢跑 32B 級量化模型。新卡預算充足直上旗艦大 VRAM 型號；預算有限，市場上的二手 24GB 卡至今仍是 CP 值極高的選擇──我們可以協助檢測與保固，避開礦卡風險。要跑 70B 以上或做訓練微調，就進入雙卡甚至多卡的領域。

一是主機板與 CPU 的 PCIe 通道數要夠，消費級平台插滿雙卡常常降速；二是電源──兩張高階卡滿載加系統，1200W 起跳且品質不能妥協；三是散熱，兩張卡貼在一起互相加熱，風冷幾乎必定降頻，這也是 AI 主機和水冷天生一對的原因（詳見我們的 AI 水冷解析）。

記憶體：建議至少是總 VRAM 的兩倍，跑大模型時 64GB 起跳不誇張。

CPU：推論階段不是主角，但核心數與 PCIe 通道影響資料吞吐，別用太入門的型號。

儲存：模型檔動輒數十 GB，2TB Gen4 SSD 是舒服的起點。

AI 主機的坑比電競機多：卡與板的相容性、電源線材規格、散熱佈局、驅動與 CUDA 環境。呈威本身就用自家機器跑本地模型，從硬體到環境架設都能一條龍處理，交機時模型直接能動。

想知道你要跑的模型需要什麼等級的機器？把模型名稱和用途傳到 LINE，我們直接幫你估配置。