# 1 TensorRT简介 ## 1.1 TensorRT做的工作 **构建期** 1. 模型解析/建立： 加载 Onnx 等其他格式的模型/使用原生 API 搭建模型 3. 计算图优化： 横向层融合(Conv)，纵向层融合(Conv+add+ReLU)/ 5. 节点消除： 去除无用层，节点变换(Pad，Slice，Concat，Shuffle) 6. 多精度支持：FP32/FP16/INT8/TF32(可能插入 reformat 节点) 7. 优选 kernel/format 硬件有关优化 8. 导入 plugin 实现自定义操作 9. 显存优化 显存池复用 **运行期** 1. 运行时环境： 对象生命期管理，内存显存管理，异常处理 2. 序列化反序列化： 推理引擎保存为文件或从文件中加载 采用 ## 1.2 TensorRT基本流程 **构建期** 1. 前期准备(Logger，Builder，Config，Profile创建 Network(计算图内容) 2. 生成序列化网络(计算图 TRT 内部表示) **运行期** 1. 建立 Engine 和 Context 2. Buffer 相关准备(申请+拷贝) 3. 执行推理(Execute) 4. 善后工作 ## 1.3 WorkFlow 在实际应用中，如何利用TensorRT进行加速，主要有以下的方法： - 使用框架自带的TRTj接口进行转换(TF-TRT，Torch-TRT) 该方式的易用性最好，但是性能最低，遇到不支持的OP返回原有框架进行计算 - 使用Parser(TF-> ONNX -> TensorRT) 该方式较为平衡，遇到不支持的OP通过Plugin等方式实现 - 使用TensorRT原生API搭建 该方式不太方便，实际生产用的比较少 # 2 插件的实现 ## 2.1 插件简介 ### 2.2.1 功能 # 3 TensorRT高级用法 # 4 常用优化策略 # 5 开发辅助工具 # 附录1 学习链接 [TensorRTapi官方文档](https://docs.nvidia.com/deeplearning/tensorrt/api/python_api/index.html "TensorRTapi官方文档") [B站nvidia官方视频](https://space.bilibili.com/1320140761/channel/collectiondetail?sid=1511007 "B站nvidia官方视频") [TensorRT代码示例 github](https://github.com/NVIDIA/trt-samples-for-hackathon-cn "TensorRT代码示例 github") 最后编辑：2024年07月08日 ©著作权归作者所有 赞 0 分享
惊天内幕！揭秘传奇私服声音无法关闭的神秘真相！：https://501h.com/yuanshi/2024-10-15/42559.html
《血光假期》恐怖片高清在线免费观看：https://www.jgz518.com/xingkong/44272.html
《回档08之女王上位记》短片剧高清在线免费观看：https://www.jgz518.com/xingkong/17438.html
《无限挑战》日韩综艺高清在线免费观看：https://www.jgz518.com/xingkong/144154.html
立意高远，以小见大，引发读者对社会/人性的深层共鸣。
文章深入浅出，既有深度思考，又不乏广度覆盖，令人叹为观止。
新盘新盘 这个月刚上新盘 新车第一个吃螃蟹！coinsrore.com
新盛客服电话是多少？（?183-8890-9465—《?薇-STS5099】【
新盛开户专线联系方式？（?183-8890--9465—《?薇-STS5099】【?扣6011643??】
新盛客服开户电话全攻略，让娱乐更顺畅！（?183-8890--9465—《?薇-STS5099】客服开户流程，华纳新盛客服开户流程图（?183-8890--9465—《?薇-STS5099】
果博东方客服开户联系方式【182-8836-2750—】?薇- cxs20250806】
果博东方公司客服电话联系方式【182-8836-2750—】?薇- cxs20250806】
果博东方开户流程【182-8836-2750—】?薇- cxs20250806】
果博东方客服怎么联系【182-8836-2750—】?薇- cxs20250806】
外围空降的价格不一样a0gy.cn