FWQ
如何使用 torch_tensorrt 设置动态批次大小?
如何使用 torch_tensorrt 设置动态批次大小? 一分耕耘,一分收获!既然都打开这篇,就坚持看下去,学下去吧!本文主要会给大家讲到等等知识点,如果大家对本文有好的建议或者看到有不足之处,非常欢迎大家积极提出!在后续文章我会继续更新文章相关的内容,希望对大家都有所帮助! 在 torch_tensorrt 中设置动态批次大小 在使用 pytorch 模型与 torch-tensorrt 进行推理时,需要指定批次大小。而对于推理场景,批次大小往往是动态变化的,因此需要在将模型转换为 tensorrt 格式时设置动态批次大小。 在 torch_tensorrt 的 compile 函数中,输入参数 inputs 定义了模型推理时的形状范围。要设置动态批次大小,需要指定 min_shape、opt_shape 和 max_shape 三个参数: min_shape: 推理的最小批次大小 opt_shape:…