暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
利用 TENSORRT 自由搭建高性能推理模型.pdf
263
22页
2次
2021-06-21
免费下载
Gary Ji (季光) NVIDIA Devtech China
利用TENSORRT自由搭建高性能推理模型
2
TENSORRT:深度学习推理加速
深度学习应用开发的两个阶段
训练:利用训练数据生成和优化网络模型
推理:把网络模型集成到应用程序,输入现实数据,得到推理结果
TensorRT深度优化了推理的运行效率
自动选取最优kernel
矩阵乘法、卷积有多种CUDA实现方式,根据数据大小和形状自动选取最优实现
计算图优化
通过kernel融合、减少数据拷贝等手段,生成网络的优化计算图
支持fp16/int8
对数值进行精度转换与缩放,充分利用硬件的低精度高通量计算能
of 22
免费下载
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文档的来源(墨天轮),文档链接,文档作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论

关注
最新上传
暂无内容,敬请期待...
下载排行榜
Top250 周榜 月榜