暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

多种类多版本深度学习框架使用良好实践

工程师milter 2021-07-14
518

历史原因,总是难免在gpu服务器上使用不同版本的tf、torch,最近因为做一个情感分析的项目,还需要使用百度的paddlepaddle。如何灵活地切换使用这些框架,避免它们之间恼人的依赖冲突,笔者最近摸索了一套方法,分享给大家。

使用conda管理不同版本的框架

笔者实践中,曾经在一个环境中安装多个不同的框架,但是偶尔会遇到一些难解的bug,于是总结出一条经验:每个环境中仅安装一个框架的一个版本。比如,建一个环境tf224,那么这个环境仅安装tensorflow的2.24版本,这样就有效地避免了各种框架或者同一框架不同版本的冲突。

使用jupyter启动服务,使用框架

在安装好了框架的环境下,启动jupyter服务,通过指定配置文件,可以设置访问密码,指定服务端口。然后,通过浏览器,输入ip和端口就可以访问,如下所示:

不同的环境可以启动不同的jupyter服务

为了同时使用不同的框架,笔者的办法是,在~/.jupyter 目录下针对不同的环境生成不同的配置文件,如下所示:

这些配置文件,不同之处主要在于端口设置不同。

然后在不同的环境下,都启动一个jupyter notebook,启动的时候通过--config 指定配置文件,如下所示:

nohup jupyter-notebook  --config  /root/.jupyter/jupyter_notebook_config_torch.py  --allow-root >torch_nohup.out 2>&1 &



可以同时打开不同的框架了

在书签中存下不同jupyter 服务的访问地址,如下所示:

这样,就可以根据需要自由地选择不同的框架来使用了。方便灵活好用!


文章转载自工程师milter,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论