#tensorrt

基于TorchScript、TensorRT和DeepStream的1840FPS目标检测
Object Detection at 1840 FPS with TorchScript, TensorRT and DeepStream(paulbridger.com)
2020-10-18 20:23
在此之前，我们采用了一个简单的视频管道，并在不牺牲Python运行时的灵活性的情况下使其尽可能快。你能走到9FPS到650FPS的程度是令人惊讶的，但我们没有达到完全的硬件利用率，流水线也没有线性扩展到单个GPU之外。有证据(使用gil_load衡量)表明，我们受到了一个基本的Python限制，即多线程争夺全局解释器......