银河麒麟离线安装DeepSeek-R1_8B以及使用chatbox进行问答的操作过程

第一步安装ollama

curl -fsSL https://ollama.com/install.sh | sh
因为网络不好可以使用阿里云或者是代理方式下载
比如我想用鲲鹏服务器:
curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C usr -xzf ollama-linux-arm64.tgz
如果是 amd的

sudo tar -C usr -xzf ollama-linux-amd64.tgz

cat > etc/systemd/system/ollama.service <<EOF
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target
EOF

cat > etc/profile.d/ollama.sh <<EOF
OLLAMA_HOST=0.0.0.0:11434
EOF

sudo systemctl daemon-reload
sudo systemctl enable ollama
systemctl restart ollama
systemctl status ollama 

拉取

ollama pull deepseek-r1:8b 
会发现文件下载到了
当前用户的 .ollama的隐藏目录下面
与安装文件一起 下载到需要的机器上面. 

运行

ollama run deepseek-r1:8b 

后台运行的方法为:
cat > etc/systemd/system/ollama_ds8b.service <<EOF
[Unit]
Description=DeepSeek8b
After=network.target

[Service]
ExecStart=/usr/bin/ollama run deepseek-r1:8b > root/ollama.log 2>&1
WorkingDirectory=/root/
StandardInput=null
StandardOutput=append:/root/ollama.log
StandardError=append:/root/ollama.log
Restart=always
User=root
Group=root

[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl enable --now ollama_ds8b
systemctl status ollama_ds8b

下载客户端

https://download.chatboxai.app/releases/Chatbox-1.9.8-Setup.exe

安装并且配置为当前的url 

举例为:
模型提供方:
OLLAMA API 
API域名:
http://10.xx.xx.246:11434
# 注意这个地方需要改环境变量,才能放开访问.
模型: 
deepseek-r1:8b

问答截图

关于银河麒麟的坑

银河麒麟v10 跟 CentOS8 并不是严格的二进制兼容的.
这里面与ollama最深的一个坑存在于:
x86 的情况下是可以运行ollama的
但是arm的情况下, 因为不支持 GLIBCXX_3.4.25 所以银河麒麟无法运行. 

可以进行一下命令验证:
strings usr/lib64/libstdc++.so.6 |grep GLIBC
CentOS8: 
GLIBCXX_3.4.24
GLIBCXX_3.4.25
GLIBC_2.2.5
GLIBC_2.3

银河麒麟v10sp3 
GLIBCXX_3.4.23
GLIBCXX_3.4.24
GLIBC_2.2.5
GLIBC_2.3

x86 可以运行, 但是 arm 就会报错了: 
ollama: usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.25' not found (required by ollama)

所以可以审计openEuler等操作系统来使用 鲲鹏的CPU进行验证. 

关于CPU的使用

简单的几个问题
X86的CPU就爆掉了. 

还是需要GPU来进行不然慢的一笔.