Grafana 提出用 SLO 与错误预算量化 AI 智能体幻觉
Grafana Labs 建议将传统可靠性工程中的服务级别目标（SLO）和错误预算概念引入 AI 智能体监控，以解决传统指标无法衡量回答正确性、任务完成度及毒性的问题。该方法通过多维评估将行为转化为可衡量的 SLI，帮助团队在容忍一定比例“幻觉”或失败的同时，平衡开发速度与质量稳定性。
报道正文
Grafana Labs 提出使用一种熟悉的可靠性工程方法，解决现代软件中一个相对陌生的问题：如何衡量 AI 智能体的实际表现是否良好。在最近的一篇文章中，该公司介绍了如何使用评估、服务级别目标（SLO）和错误预算，将幻觉、任务完成度、毒性和成本等行为转化为可衡量的目标，并持续监控。
这一构想针对的是传统应用可观测性的一项根本局限。传统指标可以告诉工程师，智能体响应速度很快、没有遇到技术错误，并消耗了一定数量的 Token，但这些指标未必能说明它的答案是否正确、是否以现有信息为依据，或者是否对用户有用。Grafana 的方法是评估行为本身，并将结果转换为可以对照 SLO 进行衡量的 SLI。
第一步是评估。评估会检查一次智能体交互，并判断它是否满足某项特定的行为标准。Grafana 给出的示例包括：响应是否以所提供的上下文为依据、是否完成了用户请求、是否包含有毒内容、是否泄露个人信息，或者是否受到提示词注入的影响。评估可以使用另一个语言模型充当裁判，但如果无需 LLM 就能识别相关行为，也可以使用正则表达式等确定性检查。
这与尝试创建单一的“智能体质量分数”存在重要区别。Grafana 认为，质量是多维的：一个智能体可能回答有据可依但成本高昂，可能有帮助却偶尔生成有毒内容，也可能准确但速度缓慢。将这些方面作为独立指标，可以让团队针对特定应用真正关注的行为分别设定目标，而不是将重要故障隐藏在一个汇总分数中。
一旦某种行为可以被衡量，传统的 SRE 概念就可以派上用场。Grafana 举例称，可以设置一个 SLO，要求在 30 天内，95% 的对话被判定为已经完成用户请求。剩余的 5% 就成为错误预算，即团队明确决定在这一时期内可以容忍的不可接受行为数量。
这种方法的重要性，与其说在于百分比本身，不如说在于它所建立的决策模型。当错误预算仍然充足时，团队可以尝试调整提示词、模型或智能体行为。随着预算逐渐耗尽，工作重点可以转向提高质量，而不是继续引入更多变更。从概念上看，这与 SRE 团队长期以来用于平衡可靠性和开发速度的取舍相同。Grafana 现有的 SLO 工具同样通过 SLI、目标值和时间窗口定义 SLO，并根据目标值与 100% 之间的差额计算错误预算。
当智能体行为逐渐变化，而不是突然发生严重故障时，这种方法尤其有用。传统告警可能会发现失败请求突然激增，但智能体可能仍在正常响应，其答案却在悄然变得不那么有用。模型变更、提示词修改、检索方式变化或用户行为转变，都可能导致质量每天下降零点几个百分点。
Grafana 认为，监控错误预算的消耗可以使这种漂移变得可见。对于一个 30 天的目标而言，单次糟糕交互可能并不重要，但持续下降会稳定地消耗可用预算。这提供了一种不同于传统基础设施监控的信号：需要关注的不一定是某一次执行是否失败，而是系统的整体行为是否正在偏离约定的可靠性边界。
最困难的部分可能不是创建 SLO，而是决定什么才算可接受的行为。对于可用性目标，组织可以借鉴数十年的运维经验；但对于智能体的任务完成度或回答有据性究竟应该达到 85%、95% 还是 99%，业界远未形成同等程度的共识。
Grafana 的方法是先通过评估建立基线，再利用历史结果帮助推荐适当的目标值。随着智能体逐渐成熟，之后还可以收紧目标。这一概念也反映出可观测性覆盖范围正在发生更广泛的变化。Grafana 自身的智能体可观测性工作，源于监控 Grafana Assistant 时遇到的问题：随着提示词、模型和工具不断变化，传统监控已无法满足需求。在社区讨论中，Grafana 工程师将离线评估与在线评估区分开来：前者针对已知场景验证变更，后者则根据真实的生产交互评估行为。
传统可观测性通常关注系统是否可用，以及性能是否处于技术限制范围内。AI 系统引入了另一个层面：系统的决策和输出是否仍处于可接受的行为边界内。这在评估、可观测性和工程变更之间建立了一个反馈闭环，与传统应用监控相比，它更接近持续质量度量。
这种方法也存在一项重要限制。SLO 的有效性完全取决于其底层测量。如果充当裁判的 LLM 持续错误分类响应，由此产生的错误预算可能会带来一种虚假的精确感。同样，设计不当的评估可能会奖励那些在技术上满足某项标准，却没有真正满足用户意图的智能体输出。
这意味着，组织仍然需要具有代表性的评估数据集、对可接受行为的清晰定义、在适当场景中采用确定性检查、对模糊案例进行人工审查，并持续验证评估器本身。SLO 提供了治理机制，但并不会让底层质量测量天然变得正确。
SLO 传统上为工程团队平衡可靠性和变更提供了一套共同语言：定义重要事项，对其进行衡量，设定可接受的阈值，并利用剩余的错误预算指导决策。
将同样的思路应用于 AI 智能体，可以把这一模型从系统可靠性扩展到行为可靠性。智能体在技术层面可能处于可用状态，但在运行层面却并不可靠，因为它的答案正在变得越来越不准确、缺少依据、成本高昂或不安全。将这些行为作为可衡量的服务目标，可以为工程团队提供一种机制，用于发现这种退化，并决定何时应该停止实验、转而进行修复。
因此，其意义并不只是 Grafana 又增加了一项 AI 指标，而是一个成熟的 SRE 原则正在被应用于一种特殊环境：系统即使仍然“在线”，也可能变得越来越不可信。对于正在将 AI 智能体投入生产环境的组织而言，这一区别可能会成为 AI 可观测性中更为重要的组成部分之一。
Grafana 的 SLO 方法是行业推动智能体行为可度量化这一更广泛努力的一部分，不过其他组织正在从不同方向解决这个问题。例如，Anthropic为智能体制定了更加正式的评估实践，通过定义明确的任务、重复试验和多个评分器，衡量智能体能否持续达成预期结果。其中，pass@k 与 pass^k 之间的区别尤其适用于生产环境中的智能体：pass@k 衡量智能体在多次尝试中是否至少成功一次，pass^k 则衡量它能否在所有尝试中始终成功。对于生产智能体而言，可靠性比最终偶然找到一次答案更加重要。
OpenTelemetry 则从不同层面处理这一问题，它正在为智能体遥测制定标准化语义约定，使追踪、指标和日志能够为跨框架、跨供应商评估智能体行为提供一致的基础。这些方法共同展现出一种正在形成的模式：评估负责判断智能体的行为是否正确，可观测性提供证据，而 SLO 则提供用于判断该行为是否可以接受的运行阈值。
原文链接：