模型并行

将单个模型的不同部分（如层或专家）分布到多个设备上协同训练或推理的技术，用于突破单设备显存限制。