在 Apple Silicon Mac 上用 Ollama…

适用于在 Apple Silicon Mac 上通过 Ollama 搭建并运行本地大模型聊天、基准测试和故障排查。

适用场景

解决思路

1. 安装 Ollama：执行 `brew install ollama`。
2. 启动 Ollama 服务：执行 `brew services start ollama`。
3. 运行初始化脚本：执行 `./setup_chatbot.sh`，该脚本会初始化 `.venv` 虚拟环境。
4. 验证 Ollama 服务：执行 `curl http://localhost:11434/api/version`。
5. 如果没有模型，拉取基础模型：执行 `ollama pull mistral`。
6. 快速启动聊天：依次执行 `./setup_chatbot.sh` 和 `./chatllm`。
7. 使用主聊天启动器：运行 `./chatllm`。
8. 使用备用聊天启动器：运行 `./chat` 或 `./chat.py`。
9. 安装别名：运行 `./install_aliases.sh`，之后可使用 `llm`、`llm-code`、`llm-fast`。
10. 按编码任务模式聊天：运行 `./chat -t coding -m codellama:70b`。
11. 按创意任务模式聊天：运行 `./chat -t creative -m llama3.1:70b`。
12. 按分析任务模式聊天：运行 `./chat -t analytical`。
13. 运行基准测试：执行 `./scripts/run_benchmarks.sh`。
14. 基准测试脚本会调用 `bench_ollama.py`，并使用 `benchmarks/prompts.yaml`、`benchmarks/models.yaml`，执行多次运行并设置最大 token 限制。
15. 安装失败时运行内置诊断脚本：执行 `./diagnose.sh`。
16. 常见修复：重新运行 `./setup_chatbot.sh`。
17. 常见修复：确保 `ollama` 在 PATH 中。
18. 常见修复：至少拉取一个模型，例如执行 `ollama pull mistral`。
19. 记住虚拟环境位于 `.venv`。
20. 记住聊天配置和会话位于 `~/.localllm/`。
21. 记住 Ollama API 运行在 `http://localhost:11434`。

适用边界 · 注意事项

• 不适用于未安装 Homebrew/Ollama 的环境，或不能使用 macOS/Apple Silicon 的场景。
• 不适用于希望直接调用云 LLM API、不愿维护本地模型和本地服务的情况。
• 不适用于没有该 localLLM 仓库及其脚本（如 `setup_chatbot.sh`、`chatllm` 等）的项目。