BLUF 結論先行
在 8GB RAM Mac mini M2 上，先安裝極輕量的 Hermes Agent（僅佔 ~0.2 GB RAM）並掛載雲端 DeepSeek API 作為主控大腦，即可在不消耗本地記憶體的前提下，讓 Hermes 透過 macOS 終端機自動為你建置 uv 環境、安裝 mlx-vlm、下載 4-bit 4B 本地模型，並封裝成按需啟動的專屬 Skill。
8.0 GB 統一記憶體分配預估（喚醒本地 4B 模型時）
剩餘安全緩衝：~2.4 GB (零 SSD Swap)
macOS 2.2G
H
4B MLX 模型 + KV Cache (3.2G)
可用空間 2.4G
macOS 系統 (~2.2 GB)
Hermes Agent + DeepSeek API (~0.2 GB)
4-bit 4B 本地模型 (~2.9–3.2 GB)
01 /
為什麼這套架構最適合 8GB Mac mini M2？（MECE 效益分析）
| 評估維度 | 純本地運行 (Hermes 掛載本地小模型) | 混合架構 (Hermes 掛 DeepSeek API + 部署本地模型) |
|---|---|---|
| 記憶體配額 RAM Budget |
Agent 加上本地模型長駐，極易超過 5.5GB 門檻並觸發 macOS SSD Swap 降速。 | Hermes 本體僅佔 ~200MB，保留完整 5GB+ 可用空間給下載後的本地模型。 |
| 工具調用精準度 Tool Calling |
8GB 能跑的 4B 模型在複雜 Shell 排錯與多步環境配置時容易迷失。 | DeepSeek API 具備頂尖 Coding 與終端機排錯能力，遇到套件衝突能自動修復。 |
| 環境建置門檻 Setup Friction |
需手動查閱指令、設定 Python 虛擬環境與處理 MLX 依賴。 | 全自動執行：自動偵測 M2 架構、建立 uv 環境、拉取模型並測試運行。 |
| 技能沉澱 Skill Persistence |
每次需手動輸入長串 Python 啟動參數。 | 完成安裝後，Hermes 自動將啟動與記憶體限制參數寫入 ~/.hermes/skills/。 |
02 /
可勾選右側核取方塊追蹤進度
實戰三部曲：安裝 Hermes 並自動部署 Local LLM
Step 01
一鍵安裝 Hermes Agent
打開 Mac mini 的 Terminal.app，執行 Nous Research 官方安裝腳本。腳本會自動配置獨立的 uv 與 Python 3.11 環境，無需 sudo 權限也不會污染系統環境。
macOS Terminal (zsh)
curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash
Step 02
掛載 DeepSeek API 作為雲端主控大腦
重新載入終端機設定後，啟動 hermes setup 互動設定精靈，將主控模型指向 DeepSeek。
macOS Terminal (zsh)
source ~/.zshrc
hermes setup1. Setup Mode
Quick Setup
2. Provider
DeepSeek
3. API Key
sk-你的金鑰
4. Base URL
https://api.deepseek.com
5. Model
deepseek-v4-pro / chat
Step 03
下達指令，讓 Hermes 自動安裝與封裝 4-bit 本地模型
執行 hermes chat（或 hermes --tui）進入對話介面，先在下方選擇你想安裝的 8GB 專用模型，再點擊「複製專屬 Prompt」貼給 Hermes 執行。
選擇你要讓 Hermes 自動安裝的目標模型（點擊可即時切換下方 Prompt）：
發送給 Hermes Agent 的自動化部署 Prompt（目標：mlx-community/Qwen3.5-4B-MLX-4bit）
請檢查我這台 Mac mini M2 (8GB RAM) 的系統環境，並幫我完成以下本地 LLM 部署任務： 1. 使用 uv 建立一個專用的虛擬環境，安裝最新版的 mlx-lm 與 mlx-vlm。 2. 幫我下載適合 8GB RAM 的 4-bit 模型：mlx-community/Qwen3.5-4B-MLX-4bit（標準全能視覺+對話 4B 模型 (~2.9 GB)）。 3. 執行一次簡短的本地推理測試（使用 mlx-vlm），確認不會發生 Out-Of-Memory 且生成速度正常。 4. 為我建立一個本地啟動腳本（限制 --max-tokens 512 與 Context 長度在 4096 以內以保護 8GB RAM），並將這個啟動與管理流程儲存為你的內建 Skill。
03 /
8GB Mac mini M2 適配模型速查表
| 定位類別 | 模型 ID (Hugging Face / ModelScope) | 量化與權重佔用 | 預估速度與特點 |
|---|---|---|---|
| 最佳無審查替代 | mlx-community/Huihui-Qwen3.5-4B-Claude-4.6-Opus-abliterated-4bit | 4-bit (~2.9 GB) | ~35 tok/s；與 27B Uncensored 同源去拒絕技術，8GB 完美運行。 |
| 最佳 Qwen3.8 推理 | empero-ai/Qwen3.8-4B-Distill | 4-bit (~2.9 GB) | ~35 tok/s；蒸餾自 Qwen3.8 母模型，適合邏輯、數學與寫 Code。 |
| 最佳全能視覺甜區 | mlx-community/Qwen3.5-4B-MLX-4bit | 4-bit (~2.9 GB) | ~36 tok/s；原生支援圖片+文字輸入，記憶體餘裕最充足。 |
| 極速多模態 (含音訊) | unsloth/gemma-4-E2B-it-UD-MLX-4bit | 4-bit (~2.5 GB) | ~48 tok/s；支援文字、視覺與音訊輸入，延遲極低。 |
| 8GB 硬件極限天花板 | mlx-community/Qwen3-8B-4bit | 4-bit (~4.7 GB) | ~20 tok/s；需關閉瀏覽器等背景程式，Context 需限制在 4K 內。 |
04 /
雙軌協同運作策略
- 日常主控（雲端大腦）：保持 Hermes 掛載 DeepSeek API，負責系統自動化、Shell 排錯與複雜程式編寫（0 GB 本地模型負載）。
-
私密/無審查任務（本地專才）：需要離線處理敏感文件或無審查創作時，直接叫 Hermes 喚醒已封裝好的
mlx_vlm.server（Port 8080），用完即關以釋放 3.2 GB RAM。 -
完全斷網模式：可執行
hermes model將主控端點切換至本地localhost:8080或 Ollamalocalhost:11434。
05 /
8GB Mac mini M2 記憶體保護三鐵律
- 嚴守 4-bit 量化：切勿下載 8-bit 或 BF16 權重（4B 的 8-bit 版本會膨脹至 4.8 GB，失去輕量優勢）。
-
限制 Context Window 在 4K–8K：KV Cache 會隨上下文線性增長，限制在
4096tokens 可確保總記憶體穩定低於 5.6 GB。 - 按需關閉長鏈思考 (Thinking Mode)：日常簡單問答時關閉隱藏思維鏈輸出，可節省大量 KV Cache 記憶體與等待時間。