在mac上部署本地deepseek模型

golang算法架构leetcode技术php 2025-02-24

deepseek最近太火，超时比较多，于是乎学习了下如何在本地mac系统上部署deepseek模型。

部署deepseek前，我们先下载下管理大模型的框架ollama，这是一个go语言实现的开源框架https://github.com/ollama/ollama，可以自己编译，也可以到官网https://ollama.com/下载dmg包。安装成功后查看下版本：

ollama  -v
ollama version is 0.5.7

ollama的使用和docker相似，下载模型使用命令

ollama pull

运行模型使用

ollama run

我们可以到ollama的官网上搜索热门模型：比如参数最少的deepseek模型：https://ollama.com/library/deepseek-r1:1.5b

ollama run deepseek-r1:1.5b
pulling f4d24e9138dd... 100% ▕██████████████████████████████████████████████████████████████████████████▏  148 B
pulling a85fe2a2e58e... 100% ▕██████████████████████████████████████████████████████████████████████████▏  487 B
verifying sha256 digest

下载过程中可能越下越慢，这是因为官方给限速了，可以断开重新下载，支持断点续传，并且速度会加快。

启动后可以测试下

>>> hao are you
<think>
</think>
Hello! I'm DeepSeek-R1, an artificial intelligence assistant created by DeepSeek. I'm at your service and would be delighted to
assist you with any inquiries or tasks you may have.
>>> 地球直径是多少
<think>
</think>
地球的直径约为 **12,742公里**，从赤道到两极的距离略有不同。具体来说：
- 从赤道测量：约 **12,742.0 km**
- 从南北极测量：约 **12,742.0 km**

如果不想在命令行使用，可以下载开源的chatbox，https://github.com/Bin-Huang/chatbox，使用起来体验就和官方的app差不多了

当然，如果想进一步搭建本地的知识库，可以下载一个浏览器插件Page Assist，提供本地大模型的图形化管理和对话界面。https://github.com/n4ze3m/page-assist

当然搭建知识库除了ai模型外，还需要一个量化工具，业界比较知名的是nomic-embed-text，https://ollama.com/library/nomic-embed-text同样的方式拉下来

ollama pull nomic-embed-text

查看我们已经拉下来的模型

 % ollama list
NAME                       ID              SIZE      MODIFIED
nomic-embed-text:latest    0a109f422b47    274 MB    30 minutes ago
deepseek-r1:1.5b           a42b25d8c10a    1.1 GB    16 hours ago

至此，我们已经可以通过chat客户端和我们本地部署的deepseek聊天了，如果想自己开发客户端怎么办？ollama抽象了标准的API，以聊天为例

聊天（Chat）
端点：POST /api/chat
功能：支持多轮对话，模型会记住上下文。
请求格式：
{
  "model": "<model-name>",  // 模型名称
  "messages": [             // 消息列表
    {
      "role": "user",       // 用户角色
      "content": "<input-text>" // 用户输入
    }
  ],
  "stream": false,          // 是否启用流式响应
  "options": {              // 可选参数
    "temperature": 0.7,
    "max_tokens": 100
  }
}
响应格式：
{
  "message": {
    "role": "assistant",    // 助手角色
    "content": "<generated-text>" // 生成的文本
  },
  "done": true
}

我们可以通过curl命令获得回复

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:1.5b",
  "prompt": "你好，你能帮我写一段代码吗？",
  "stream": false
}'

如果要部署一个服务给外界使用，可以使用open-webui：

https://github.com/open-webui/open-webui

作为一个码农，我们是不是想到搭建一个本地ai编程助手呢？也是可以的，需要下载deepseek-coder

ollama run deepseek-coder:1.3b

然后下载vscode插件AI Toolkit for Visual Studio Code，模型选ollama，配置本地的deepseek-code即可，不过用下来发现，效果不是那么好。

文章转载自golang算法架构leetcode技术php，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

在mac上部署本地deepseek模型

评论