推理编排

位于模型与底层硬件之间的软件层，负责自动调度、扩缩容及资源分配以优化推理效率