用 llm-mlx 在 Mac 上跑本地大模型：最简单的入门方式
> 来源: https://simonw.substack.com/p/run-llms-on-macos-using-llm-mlx-and
> 作者: Simon Willison
> 日期: 2025-02（文章发布时间）
> 工具: https://github.com/simonw/llm-mlx
📌 核心内容
Simon Willison（Datasette 作者、Django 联合创始人、AI 工具领域最活跃的独立开发者之一）发布了 llm-mlx——一个基于 Apple MLX 框架的 LLM 插件，可能是目前 Mac 用户在终端跑本地大模型最简单的方式。
三条命令即可开始：
llm install llm-mlx
llm mlx download-model mlx-community/Llama-3.2-3B-Instruct-4bit
llm -m mlx-community/Llama-3.2-3B-Instruct-4bit '你的问题'
🔧 技术栈
LLM CLI
LLM 是 Simon Willison 开发的 Python CLI 工具和库，统一了各种大模型的调用接口。通过插件系统支持 OpenAI、Anthropic、本地模型等，所有对话自动记录到 SQLite 数据库。
Apple MLX
MLX 是 Apple 在 2023 年 11 月开源的数组计算框架，专为 Apple Silicon 优化。核心用 C++ 编写，配合 Python 接口，在 M 系列芯片上跑推理性能极强。
Simon 引用了 MLX 核心开发者 Awni Hannun 的数据：
> M4 Max 上 4-bit Qwen 0.5B 生成 1K token 的速度达到 510 tokens/sec，iPhone 16 Pro 上也能跑到 150 tok/sec。
Simon 评价："这个 Apple 小团队几乎凭一己之力在和 NVIDIA 的 CUDA 竞争。"
📊 推荐模型和性能
| 模型 | 大小 | 内存需求 | 适合场景 |
|---|---|---|---|
| Qwen2.5-0.5B-Instruct-4bit | 278 MB | 极小 | 测试、轻量任务 |
| **Llama-3.2-3B-Instruct-4bit** | 1.8 GB | ~4 GB | ⭐ 入门首选，152 tok/s |
| Mistral-7B-Instruct-v0.3-4bit | 4.08 GB | ~8 GB | 日常使用 |
| **Mistral-Small-24B-Instruct-4bit** | 13.26 GB | ~16 GB | ⭐ GPT-4 级别体验 |
| DeepSeek-R1-Distill-Qwen-32B-4bit | 18.5 GB | ~24 GB | 推理/思维链 |
| Llama-3.3-70B-Instruct-4bit | 40 GB | 64 GB | 最强本地模型 |
Simon 的推荐：
- 入门：Llama 3.2 3B（1.8GB，速度飞快）
- 日常主力：Mistral-Small-24B（"真的感觉有 GPT-4 水平，只需 ~12GB 内存"）
- 推理任务：DeepSeek-R1-Distill-Qwen-32B（带
- 极致性能：Llama 3.3 70B（需要 64GB 内存机器，8.8 tok/s）
🎯 关键特性
别名系统
llm aliases set l32 mlx-community/Llama-3.2-3B-Instruct-4bit
llm -m l32 '你的问题' # 短多了
管道支持
cat code.py | llm -m l32 'explain this code'
对话模式（大模型常驻内存）
llm chat -m mlx-community/Llama-3.3-70B-Instruct-4bit
参数控制
llm -m l32 'a greeting' -o temperature 1.0 -o seed 2
固定 seed 可以产生可重复的结果，方便写测试。
Python API
import llm
model = llm.get_model("mlx-community/Llama-3.2-3B-Instruct-4bit")
print(model.prompt("hi").text())
自动日志
所有 prompt 和 response 自动记录到 SQLite 数据库，用 llm logs 查看。
💡 分析与评价
为什么这个工具重要
1. 极低门槛：三条命令从零开始跑本地大模型，没有 Docker、没有复杂配置
2. Apple Silicon 原生优化：MLX 直接利用 M 系列芯片的统一内存架构，无需 GPU 显存
3. 生态统一：LLM CLI 的插件系统让你用同一个命令调用 OpenAI API、本地 MLX 模型、GGUF 模型等
4. mlx-community 生态：HuggingFace 上 mlx-community 组织已发布 1000+ 个 MLX 格式模型
5. Simon Willison 品质：作为 Django 联合创始人和顶级独立开发者，代码质量、文档和测试都是一流的
与 Ollama 的对比
| 特性 | llm-mlx | Ollama |
|---|---|---|
| 平台 | macOS only | 全平台 |
| 底层 | Apple MLX | llama.cpp |
| 性能(Mac) | ⭐ 更快 | 良好 |
| 模型格式 | MLX (HuggingFace) | GGUF |
| API 风格 | CLI + Python 库 | REST API |
| 日志记录 | ✅ SQLite 自动记录 | ❌ |
| 插件生态 | ✅ LLM 插件系统 | ❌ |
如果你只用 Mac，llm-mlx 可能是更好的选择（性能更好、CLI 更优雅）。如果需要跨平台或 REST API，Ollama 仍然是首选。
评分
| 维度 | 评分（/10） |
|---|---|
| 实用价值 | 9.5 |
| 易用性 | 10 |
| 技术实现 | 8.5 |
| 文档质量 | 9.5 |
| **综合** | **9.4** |
🔗 与我们的关联
1. 本地 AI 开发：如果有 Mac，可以零成本跑本地大模型做开发测试，不消耗 API 额度
2. 离线使用：飞机上、没网时也能用 AI 辅助编程
3. 隐私保护：所有数据都在本地，不经过任何第三方服务器
4. 快速原型：Python API 可以直接集成到项目中做本地推理
5. MLX 生态：Apple 的 MLX 框架发展很快，值得持续关注
快速开始
# 安装 LLM
brew install llm # 或 pip install llm
# 安装 MLX 插件
llm install llm-mlx
# 下载入门模型（1.8GB）
llm mlx download-model mlx-community/Llama-3.2-3B-Instruct-4bit
# 设置别名
llm aliases set l32 mlx-community/Llama-3.2-3B-Instruct-4bit
# 开聊！
llm -m l32 'Python 实现快速排序'
报告由深度研究助手自动生成 | 2026-03-07