vLLM

英伟达在 KubeCon 上宣布将智能体安全运行时 OpenShell 捐赠给 CNCF，成为沙箱项目，同时参与 Google 主导的 Agent Substrate 框架。此举将智能体治理与 Kubernetes 规模化调度推向开放治理，并展示了 Snapshot 将 vLLM 冷启动从数分钟降至数十秒的实测效果。

Flide 是一款面向 Jev 类决策模型的高性能精确推理引擎，借助精确状态分叉实现较 vLLM 与 SGLang 最高 9.5 倍加速，并保证输出与单次独立推理完全一致。它已支持 30 多个本地决策模型，提供 /v1/systemone 接口，可通过 pip 直接安装。