暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【模型推理】英伟达 Jetson 系列边缘盒子性能测评

极智视界 2021-09-08
972

 本文记录了英伟达 Jetson 系列边缘盒子的性能测评小结。

 测评的 AIBox 是分别来自三家代理商 浪潮、研智、米文,盒子型号包括 浪潮 Jetson Xavier NX、研智 Jetson Xavier NX、米文 Jetson Nano、米文 Jetson TX2 NX、米文 Jetson Xavier NX、米文 Jetson AGX Xavier,数据对标 浪潮 NX。

  盒子的推理性能强弱和其 GPU 架构和硬件配置强相关,关于 Jetson 系列盒子的硬件参数可以参考我的这篇《【模型推理】英伟达 Jetson 系列边缘盒子硬件参数汇总》。

  我这里主要测评的模型是我们项目中的 目标检测 和 行人重识别模型,不是经典模型,所以这里的测评数据不具有通用性,想要更加充分的评估就自己动手吧~

 测评姿势:使用的推理框架是 TensorRT,C++ API 堆叠那种,做了算子融合、低比特等优化;低比特化不同盒子不一样,如 Nano、TX2_NX 不支持 int8,故用的 fp16 精度,其余为 int8(这里主要考虑以能实际落地的精度进行性能对比)。

  给出性能对比数据:


 

       小结:

 (1)同型号(Jetson Xavier NX)三家性能相当,所以在选型的时候可以更加关注盒子的价格和稳定性;

 (2)实测 Nano 比 NX 慢 9倍,所以你在选择 Nano 的时候需要谨慎,性能确实一般;

  (3)实测 TX2 NX 比 NX 慢约 4倍,觉得这款性价比还是可以的;

  (4)实测 AGX Xavier 比 NX 快约 1倍,主要考虑到它的 显内存 (32G) 是 NX (8G) 的 4倍,所以性能十分可观,不过它也贵啊~

  好了,就这样,以上希望能给大家 窥一斑。

  收工~


声明:转载请说明出处

扫描下方二维码关注【极智视界】公众号,获取更多实践项目资源和读书分享,让我们用极致+极客的心态来迎接AI !


文章转载自极智视界,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论