暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / Dify与大模型部署

Dify与大模型部署

IT那活儿 2025-09-26
2106
点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享，不管IT什么活儿，干就完了！！！
一

部署 Ollama 大模型

1.1 使用腾讯云 Cloud Studio 部署 Ollama
1）访问 Cloud Studio，选择 Ollama 模板创建资源

2）根据提示完成资源配置
建议选择至少 16GB 内存的实例以支持 32B 模型运行。
说明：创建时需确保网络组开放 12345 端口（后续步骤使用）。
1.2 拉取并测试 deepseek-r1:32b 模型
命令：
ollamarundeepseek-r1:32b
注意事项：
  • 拉取模型耗时较长（约 30 分钟），需保持网络稳定。
  • 若中断，可通过 ollama pull deepseek-r1:32b 继续拉取。
1.3 开启 Ollama Web 端口
1）修改环境变量
echo'export OLLAMA_HOST="0.0.0.0:12345"' >> ~/.bashrc
source ~/.bashrc
2）重启 Ollama 服务
kill $(pgrep ollama) # 终止现有进程
/usr/local/bin/ollama serve & # 后台启动服务
验证端口是否开启：
curl http://localhost:12345 # 应返回 Ollama 版本信息
1.4 使用 frp 实现公网访问
1）配置 frp 客户端，将本地 12345 端口映射到公网服务器
2）通过公网 IP 访问 http://<公网IP>:<映射端口>
注意事项：
  • 需在云服务器安全组中放行 frp 使用的端口（默认 7000-7500）。
  • 推荐使用 systemd 管理 frp 服务以避免中断。
二

部署 Dify

2.1 拉取源码并启动容器
1）使用镜像站加速拉取代码
git clone https://github.akams.cn/dify/dify.gitcd dify/docker
2）根据 Docker Compose 版本启动
# V2docker compose up -d
# V1docker-compose up -d
修改端口冲突：
若 80 端口被占用，编辑 .env 文件：
NGINX_HTTP_PORT=8080  # 修改为其他端口（如 8080）
重启服务：
docker compose down && docker compose up -d
2.2 集成 Ollama 大模型
1）登录 Dify 控制台，进入 模型管理 > 自定义模型

2）填写 Ollama 接口地址：http://<Ollama服务器IP>:12345
3）选择 deepseek-r1:32b 并保存
注意事项：
  • 确保 Dify 与 Ollama 服务器网络互通。
  • 若集成失败，检查 Ollama 日志：tail -f usr/local/bin/ollama/logs/server.log。
三

测试与验证

3.1 基础功能测试
1）对话测试
在 Dify 中创建应用，输入问题（如“解释神经网络原理”），验证模型是否正常响应。
2）性能监控
watch -n 1"docker stats"#  查看容器资源占用
3.2 常见问题排查
1）Ollama 服务未启动
  • 检查进程：ps -ef | grep ollama
  • 查看日志：journalctl -u ollama.service
2）Dify 无法连接 Ollama
  • 测试连通性：curl http://<Ollama_IP>:12345
  • 检查防火墙规则：iptables -L -n
附录：
Ollama 常用命令：
ollama list        #  查看已安装模型

ollama rm <model>    # 删除模型

END


本文作者：李泽基(上海新炬中北团队）

本文来源：“IT那活儿”公众号

文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论