在 MacBook Pro M4 Max 上用 Ollama 本地运行 AI

Apple 发布 M4 Max 芯片时，发生了一件了不起的事。这是第一次，一台在商店里就能买到的笔记本电脑拥有足够的原始算力 — 以及足够的统一内存 — 来运行大语言模型，而这在短短两年前还需要一整个服务器机柜。Ollama 正是让你轻松利用这一切的工具。

MacBook Pro M4 Max — 测试机器

芯片

Apple M4 Max

CPU 核心

16 核 (12P + 4E)

GPU 核心

40 核 MPS

神经网络引擎

38 核 NPU

统一内存

64 GB (CPU+GPU 共享)

内存带宽

546 GB/s — 最关键的数字

内存带宽是本地 AI 推理中最重要的指标，而 546 GB/s 对于一台笔记本电脑来说堪称惊人 — 可与需要额外花费数千美元的高端独立显卡相媲美。这就是为什么 M4 Max 能够运行那些会让大多数消费级硬件不堪重负的模型。

“M4 Max 不仅仅能运行本地 AI 模型。它的响应速度比大多数人调用云端 API 还要快 — 而且不会把你的任何一个字节的数据发送到别处。”

— 来自本机的性能测试

什么是 Ollama？

Ollama 是一款开源工具，它让在本地运行大语言模型变得像 ollama run llama3 一样简单。它会处理所有原本需要你手动配置的工作：模型下载、量化、GPU/CPU 调度，以及提供一个模仿 OpenAI 接口的本地 API 端点。

在 Ollama 这类工具出现之前，在本地运行模型意味着要与 Python 环境、CUDA 驱动、模型权重格式和推理框架苦苦缠斗。如今，从一个空白终端到运行起 AI 助手，只需大约三分钟。尤其是在 Apple Silicon 上，Ollama 会自动通过 Metal Performance Shaders（Apple 的 GPU 框架）进行计算，让你无需任何配置即可获得最佳性能。

安装：三个步骤

下载并安装 Ollama

访问 ollama.ai 并下载 Mac 应用。这是一个标准的 .dmg 安装包 — 拖入“应用程序”文件夹即可完成。如果你更喜欢命令行，也可以这样做：

终端

# 通过 Homebrew 安装
brew install ollama

# 或运行官方安装脚本
curl -fsSL https://ollama.ai/install.sh | sh

安装完成后，Ollama 会作为后台服务运行 — 菜单栏中会出现一个小图标。它会在登录时自动启动，并在 http://localhost:11434 提供本地 API。

拉取你的第一个模型

打开终端并拉取一个模型。Ollama 的模型库包含数十个模型。对于中英文任务，阿里巴巴的 Qwen2.5 是绝佳的起点。对于通用英文任务，Llama 3.1 或 Gemma 3 都是很好的选择。

终端

# 中文 + 英文最佳选择（推荐）
ollama pull qwen2.5

# 最佳通用英文模型
ollama pull llama3.1

# 轻量级，速度极快
ollama pull gemma3:4b

# 编程专用模型
ollama pull deepseek-coder-v2

# 查看所有已下载的模型
ollama list

7B 参数的 Qwen2.5 大约 4.7 GB，在网速不错的情况下几分钟就能下载完成。凭借 M4 Max 的 64 GB 统一内存，如果你想要更强的能力，完全可以轻松运行 32B 甚至 72B 版本。

开始对话

直接在终端中运行模型即可获得即时聊天界面，或者使用 REST API 在其之上构建应用。

终端 — 交互式聊天

# 启动交互式聊天会话
ollama run qwen2.5

# 你会看到：
>>> Send a message (/? for help)

# 输入你的消息并按回车
# 输入 /bye 退出

终端 — REST API

# 直接调用 API（格式与 OpenAI 相同）
curl http://localhost:11434/api/chat \
  -d '{
    "model": "qwen2.5",
    "messages": [
      {"role": "user", "content": "Explain RAG in one paragraph"}
    ],
    "stream": false
  }'

选择合适的模型

M4 Max 的 64 GB 统一内存是决定性因素。一个粗略的经验法则：量化模型每十亿参数大约需要 0.7 GB 内存。这意味着你可以轻松运行比普通消费级硬件所能承载的大得多的模型。

模型	规模	磁盘占用	最适合	速度
gemma3:4b	4B	~2.5 GB	快速任务，低延迟	非常快
qwen2.5	7B	~4.7 GB	中文 + 英文，通用场景	快
llama3.1	8B	~4.9 GB	英文推理，编程	快
deepseek-coder-v2	16B	~9 GB	代码生成，调试	中等
qwen2.5:32b	32B	~20 GB	复杂推理，长文档	中等
llama3.1:70b	70B	~43 GB	接近 GPT-4 的质量，研究用途	较慢

给 M4 Max 用户的建议：日常使用可以从 qwen2.5 开始。熟悉之后，试试 qwen2.5:32b — 质量提升非常明显，而 64 GB 统一内存运行它毫不费力。

在 Python 中使用 Ollama

当你在 Ollama 之上构建应用时，它真正的威力才会显现。由于它的 API 与 OpenAI 的接口完全一致，任何为 OpenAI 编写的代码只需修改一行 — 基础 URL — 就能在 Ollama 上运行。

Python — 直接调用 API

import requests, json

def ask_ollama(prompt, model="qwen2.5"):
    response = requests.post(
        "http://localhost:11434/api/chat",
        json={
            "model": model,
            "messages": [{"role": "user", "content": prompt}],
            "stream": False
        }
    )
    return response.json()["message"]["content"]

answer = ask_ollama("What is the capital of Australia?")
print(answer)

Python — 兼容 OpenAI（无缝替换）

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",
)

response = client.chat.completions.create(
    model="qwen2.5",
    messages=[
        {"role": "system",  "content": "You are a helpful assistant."},
        {"role": "user",    "content": "Explain quantum entanglement simply."},
    ]
)

print(response.choices[0].message.content)

在其之上构建 Gradio 聊天机器人

当 Ollama 在后台运行时，使用 Gradio 只需约 20 行 Python 代码就能添加一个像样的网页界面。它会创建一个功能完整的聊天 UI，局域网内的任何浏览器都可以访问 — 只需一个参数，还能公开分享。

Python — app.py

import gradio as gr, requests

MODEL = "qwen2.5"

def chat(message, history):
    messages = []
    for user_msg, bot_msg in history:
        messages += [
            {"role": "user",      "content": user_msg},
            {"role": "assistant", "content": bot_msg},
        ]
    messages.append({"role": "user", "content": message})

    response = requests.post(
        "http://localhost:11434/api/chat",
        json={"model": MODEL, "messages": messages, "stream": False}
    )
    return response.json()["message"]["content"]

gr.ChatInterface(
    fn=chat,
    title=f"Local AI — {MODEL}",
    description="Powered by Ollama on MacBook Pro M4 Max. Fully private.",
    examples=["Summarise the key ideas of RAG", "Write a haiku about silicon"],
).launch(share=True)

终端 — 运行

# 如有需要，安装 Gradio
pip install gradio requests

# 确保 Ollama 正在运行，然后：
python app.py

运行之前：请确保 Ollama 应用已打开（菜单栏图标可见），或在另一个终端标签页中运行 ollama serve。如果 Ollama 没有运行，API 将不会响应。

为什么这很重要：隐私与速度

支持本地 AI 的两大理由是隐私和延迟。就隐私而言，道理很简单：当你在本地运行 Ollama 时，你的提示词和回复永远不会触及外部服务器。每一次查询都留在你的机器上。对于任何处理敏感客户数据、专有代码或机密文档的人来说，这不是一个小优点 — 而是一项基本要求。

就延迟而言，M4 Max 带来了真正的惊喜。在实际使用中，在这颗芯片上本地运行的 7B 模型响应速度比大多数云端 API 调用还要快 — 不是因为模型更快，而是因为没有网络往返。第一个 token 几乎瞬间出现。对于编程辅助或文档审阅这类交互式任务，这种响应速度彻底改变了使用体验。

“没有订阅费。没有速率限制。没有数据离开你的机器。运行 Ollama 的 M4 Max，是任何没有数据中心的人所能拥有的最私密的 AI 方案。”

此外还有成本上的考量。云端 AI API 按 token 收费。GPT-4 或 Claude 等服务的重度用户每月可能累积相当可观的账单。而 Ollama 是免费的。计算成本已经包含在笔记本电脑的价格里了。对于构建和测试 AI 应用的开发者来说，能够在本地无限次推理 — 无需 API 密钥、无需账单面板、没有速率限制 — 能极大地加快开发迭代。

实用命令速查

终端 — Ollama CLI 参考

# 列出所有已下载的模型
ollama list

# 运行模型（交互式聊天）
ollama run qwen2.5

# 拉取新模型
ollama pull llama3.1:70b

# 删除模型（释放磁盘空间）
ollama rm gemma3:4b

# 显示模型详情和参数
ollama show qwen2.5

# 查看当前已加载到内存中的模型
ollama ps

# 以服务器模式运行 Ollama（如果不使用应用）
ollama serve

# 非交互模式的单次查询
ollama run qwen2.5 "What is the Pythagorean theorem?"