背景

modelscope 是什么? 

ModelScope 是由阿里巴巴达摩院推出的一个开源 AI 模型共享平台，
旨在为开发者提供高效、便捷的机器学习模型和工具。
它涵盖了从模型开发、训练、部署到共享的全流程，
支持多种任务和应用场景，
如自然语言处理（NLP）、计算机视觉（CV）、语音识别等

安装之一

https://mp.weixin.qq.com/s/gh6Yjfy3UcwrUtdDnek5hA
之前使用了 离线部署 python3
基于这个离线部署的python可以进行后面的安装.
之前将 python3.tar.gz 解压缩到 opt/python3 

安装之二

cd /opt/python3/bin 
安装vllm 的方法:
./pip install -i https://pypi.tuna.tsinghua.edu.cn/simple vllm
安装魔搭
./pip install -i https://pypi.tuna.tsinghua.edu.cn/simple modelscope 

下载的命令

mkdir -p model
# 需要注意说明 需要在当前目录执行.
./modelscope download --model Qwen/Qwen3-0.6B --local_dir model/

--model  指定模型
--local_dir 指定路径

离线迁移

cd /opt 
time tar -czvf python3.12.2_modelscope_vllm.tar.gz python3

耗时 12min 
压缩之前 8G, 压缩之后4G