🧱选择硬件

在买任何东西之前，先说个好消息：您不需要一台性能怪兽。一个编码智能体加上几个小巧的 AI 模型，在一台几百欧元的小 PC 上跑得很好。但有一个标准比其他所有都更重要，而它偏偏不是大家平时会看的那个。我们一起把这件事理清楚，不带黑话。

真正重要的三样东西（按顺序）

忘掉营销话术。要在本地跑 AI，下面就是真正起作用的因素，从最重要排到最不重要。

1. 内存, 遥遥领先的头号因素

这才是那个决定。一个 AI 模型，要给出回答，必须完整地装进内存里。内存不够，模型干脆就加载不了, 或者卡到惨不忍睹。下面是几个具体的台阶：

• 16 GB, 勉强够活命的最低线。够跑编码智能体（智能体本身可以去调云端的模型），但要在本地跑一个真正的 AI 模型就太紧了。能避就避。
• 32 GB, 舒适。您可以跑一个 300 亿参数模型的量化（压缩）版本，这已经覆盖了非常多的需求。一个不错的入门点。
• 64 GB, 甜蜜点。本地 AI 在这里才真正认真起来：您能加载大模型，同时给系统和智能体留出余量。如果您在 32 和 64 之间犹豫，选 64。
• 96 GB 及以上, 奢侈。用于最重的模型，或同时并行跑好几样东西。挺好，但起步时不必。

2. 内存带宽, 隐藏的速度

不太为人所知，但对体验起决定作用。内存带宽，就是处理器读取内存的速度。而一个 AI 模型每产生一个词，都要把它的整块内存重读一遍。带宽越高，词出来得越快（我们说的是每秒 token 数）。一台内存快的机器会在您眼前「打字」；一台慢的机器则一个词一个词地往外挤。盯紧这一点，尤其是在 Mac 上（见下文），它的统一内存特别快。

3. NVMe SSD, 又快又大

模型很大：每个模型算约 20 GB，而您很快就会攒下好几个。瞄准一块至少 1 TB 的 NVMe SSD。要 NVMe（而不是老旧的 SATA SSD），因为启动时把 20 GB 装进内存，得几乎瞬间完成，而不是去喝杯咖啡的工夫。

那处理器呢？

对这个用途，它比您想的更不重要。最近两三代的随便哪颗 AMD Ryzen 或 Intel Core 都绰绰有余。别为最快的 CPU 多掏钱, 把这笔钱放进内存里。是它决定了您能做什么。

选哪种形态的机器？

有好几个家族，都站得住脚。保持中立，按您的预算和喜好来选。

• 迷你 PC，准系统或开箱即用, Minisforum、Beelink、GMKtec、ASUS NUC。最灵活的选择：小巧、省电，在准系统版本上您自己加内存和 SSD，所以能花不多的钱把内存堆到最大。
• Apple Mac mini（M 系列芯片）, 一个极好的替代方案，甚至是本地 AI 的一个隐藏宝藏。它的统一内存很快，由 CPU 和 GPU 共享：一台 64 GB 的 Mac mini 能跑独立显卡装不下的模型。小遗憾：它跑的是 macOS，不是 Linux。

核显还是独立显卡？

这是个大问题，而答案也许会让您意外。对这个用途来说：

• 一块独立的 NVIDIA 显卡能大大加快模型的速度。但它被自己的显存封顶（实际上 24 到 32 GB），它会增加噪音、功耗和成本，而且很少能塞进一个迷你机箱。
• 大多数人用一台处理器/核显 + 大内存的迷你 PC就过得很好，跑那些紧凑的 MoE 模型（一种聪明的模型，每次回答只激活自己的一部分, 见 选择您的本地模型）。

说白了，这个权衡是：独显给您速度，但限制您的模型大小，还给您添噪音。充裕的内存给您大模型，更慢但更安静。起步时，「大内存、不要 GPU」是最简单、最省心的路子。

省电又安静：完美适合全天 24 小时

我们重复一遍，因为这很重要：这些机器待机耗电 10 到 30 W，而且几乎静音。这正是您需要的, 一个全天开着、摆在书桌角落的盒子。一块独显会稍微打破这份宁静, 这速度值不值得，由您来定。

不想买机器？VPS 这条路

老实说：你也可以什么都不买，转而在云上租一台服务器，也就是 VPS（虚拟专用服务器）。它是托管商（Hetzner、OVH、Scaleway、DigitalOcean……）那里的一台虚拟机，按月计费，开箱就是 Linux，随处可达。本路径里其余的一切（智能体、Docker、网络、部署）同样适用。

这条路我测得比自家迷你 PC 少，所以我如实道来，连同它的取舍：

• 优点：没有硬件要买，没有线要插，开箱就有一个公网 IP 和带宽，几次点击就能上调或下调算力。
• 缺点：它是一份订阅（每月从几欧元到几十欧元不等，你睡觉时它也在计费），你的数据住在别人的机器上，而且最关键的是本地大模型这一项缺席：便宜的 VPS 没有 GPU，所以又回到混合方案（编排者在云端，VPS 托管你的项目，顶多跑些小模型）。带 GPU 的套餐是有的，但价格涨得很快。

我的看法：要学习、要托管项目而又不想买东西，一台小 VPS 是相当不错的试验场。但要跑真正的本地模型（这正是本站的核心），没有什么能取代一台属于你自己的机器，连同它的内存，以及（如果你愿意）它的 GPU。游标放在哪里，由你决定。

推荐表

三种画像，按您的预算和野心来分。

画像	内存	用来做什么	参考
入门尝鲜	32 GB	编码智能体 + 一个量化的小型本地模型	入门级准系统迷你 PC
舒适（推荐）	64 GB	甜蜜点：大型本地模型 + 智能体，处处有余量	Minisforum / Beelink 64 GB，或 Mac mini 32 GB
强壮	96 GB+	最重的模型，多个负载并行	Mac mini 64 GB，或迷你 PC + 独显（如果您想要速度）

如果只能记住一行：瞄准「舒适」，64 GB。它的乐趣/价格比最好，半年后您也不会觉得局促。

我推荐（并亲自测过）的机器

够多泛泛之谈了, 下面是具体的型号，其中好几台上过测试台。四个家族，按您想做什么来选。

全能迷你 PC, Minisforum M2

我推荐的起点：小巧、省电、安静，为在角落里全天 24 小时运行而生。您在上面跑智能体加一个量化的本地模型毫无压力。它是起步时体积 / 性能 / 价格之间最健康的平衡。→ 我在 Frandroid 上对 Minisforum M2 的测评

统一内存, Mac mini M4、Mac Studio 与 Framework Desktop

如果本地 AI 才是您真正的主题，统一内存是一件利器。CPU 和 GPU 共享同一块、非常快的内存，从而能加载任何消费级显卡都装不下的大模型。

• Mac mini（M4、M5）/ Mac Studio, 苹果阵营里这一类的佼佼者：超快的统一内存，机器小巧又安静。最新的 M5 芯片速度再上一层，而 Mac Studio 内存能堆得很高，应付最重的模型。（提醒：是 macOS，不是 Linux, 见上文的提示框。）
• Framework Desktop, 我在 x86 阵营统一内存里的心头好：它搭载一颗内存慷慨且非常快的 AMD 统一内存芯片，像 Framework 做的一切那样可维修、可开放。是承载强壮本地模型的绝佳主机，而且它跑 Linux。→ 我在 Frandroid 上对 Framework Desktop 的测评

为什么统一内存改变了局面（以及怎么认出它）

这是整篇里最重要的技术要点，所以我们慢慢来。在一台经典 PC 上，有两块分开的内存：处理器的 RAM，和显卡的显存。GPU 只能用它自己的显存, 通常 8、12 或 16 GB, 一个字节都不能多。这是一堵墙。

而统一内存打破了这堵墙：CPU 和 GPU 共享同一个内存池，非常快。所以当一个 AI 模型需要时，您可以把这块内存的一大部分分配给 GPU。具体来说：一台 64 GB 统一内存的机器可以把，比如说，48 GB「当作显存」呈现给一个模型。没有哪块消费级显卡懂得这么做。正是它让一台小小的 Mac mini 或一台 Framework Desktop 能加载一块 1500 欧元的 RTX 干脆装不下的模型。

超大带宽, 一台带独立显卡的 PC

您瞄准最高的速度，或者您还做创作（图像生成、视频、训练）？那么，一块带专属显存的真显卡就名正言顺了：它的带宽碾压核显，token 喷涌而出。我在价格 / 显存比上的快速建议：GeForce RTX 5060 Ti 16 GB, 16 GB 显存、价格合理，是在不爆预算的前提下快速跑好模型的甜蜜点。

买之前要核对的端口

在点「下单」之前，过一遍这份小清单：