1. 描述一下SM的结构？

2. 共享内存和寄存器分别应该存放哪些数据。

3. bank冲突是什么？描述具体结构，如何解决？

4. 说一下分支冲突，如果warp内有冲突，部分符合if条件，部分符合else条件，是否需要等待？

5. 项目中用过TensorCore吗？了解TensorCore的原理吗？

Tensor Cores 使用介绍：https://zhuanlan.zhihu.com/p/671312675

6. 为什么用float4向量来存取数据？有什么好处？

7. 了解cuda流和cuda graph吗？

8. 在Nsight Computing中，经常关注的与内存相关的指标?

9.cutlass中如何对GEMM进行优化的吗？

CUTLASS 基础介绍：https://zhuanlan.zhihu.com/p/671324125

10. 了解Transformer吗？底层是什么结构？知道Faster Transformer吗?cuda中如何优化？

11. Paged Attention有了解吗？

从 FlashAttention 到 PagedAttention, 如何进一步优化 Attention 性能

https://zhuanlan.zhihu.com/p/638468472

12. TensorFlow和Pytorch设计思路有何不同？

13. Nsight Compute和Nsight System使用场景和区别？

使用场景：

14.模型导出fp32的trt engine没有明显精度损失，导出fp16损失很明显，可能的原因有哪些？

15.onnx模型推理结果正确，但tensorRT量化后的推理结果不正确，大概原因有哪些？

可能原因有：

正常的，因为calibration（校正）是以tensor为单位计算的。对于每次计算，如果histogram的最大值需要更新，那么PTQ会把histogram的range进行翻倍。不考虑内存不足的问题，推荐使用更大的batch_size，这样每个batch中包含样本更加丰富，校准后的精度会更好。但具体设置多大，需要通过实验确定（从大的batch size开始测试。一点一点往下减）。需要注意的是batch_size越大，校准时间越长。

17.模型量化到INT8后，推理时间反而比FP16慢，这正常吗？

正常的，这可能是tensorrt中内核auto tuning机制作怪（会把所有的优化策略都运行一遍，结果发现量化后涉及一堆其他的操作，反而效率不高，索性使用cuda core，而非tensorrt core）。当网络参数和模型架构设计不合理时，trt会添加额外的处理，导致INT8推理时间比FP16长。我们可以通过trt-engine explorer工具可视化engine模型看到。