推理节点

专门用于执行模型前向传播以生成预测结果的硬件计算单元，通常针对低延迟和高吞吐量进行优化。