用 Ollama 跑本地大模型,完全离线使用
对接 Ollama 本地推理框架,无需联网、无需 API Key,数据全程不出本机。
01 为什么用本地模型
云端大模型虽强,但有三痛点:①费用按 token 计费,高频使用成本高 ②敏感数据上传云端有合规风险 ③断网不可用。本地模型完美解决这三点——一次部署永久免费、数据不出本机、完全离线运行。DeepMetier 支持 Ollama、vLLM、LM Studio 等主流本地推理框架。
02 安装 Ollama
访问 ollama.com 下载安装包(macOS/Linux/Windows 均支持)。安装后终端运行 `ollama pull qwen2.5:7b` 下载通义千问 7B 模型(约 4.7GB)。7B 模型在 M1 MacBook 上约 8GB 内存可流畅运行,Intel i5 + 16GB 也可用。
03 在 DeepMetier 对接 Ollama
打开"设置"→"模型"→"添加本地模型",选择"Ollama"。DeepMetier 会自动检测本机 Ollama 服务(默认 localhost:11434)。选择已下载的模型,点击"测试连接",成功后该模型即可在智能体技能节点中使用,与云端模型完全等效。
04 模型选型建议
日常对话与写作:qwen2.5:7b(中文优秀,速度快)。代码生成:deepseek-coder:6.7b。复杂推理:qwen2.5:14b 或 llama3.1:8b(需 16GB+ 显存/内存)。如果是 Apple Silicon Mac,优先选带 "-instruct" 或 "-chat" 标签的指令微调版本。
05 离线场景配置
在"设置"→"通用"开启"离线模式",DeepMetier 会隐藏所有云端模型入口,只显示本地模型。这样即使在飞机上、内网隔离环境,智能体与办公自动化也能照常运行。配合 DeepMetier 的本地知识库,可实现完全断网的私有 AI 工作站。
