Grafana Proposes Using SLOs and Error Budgets to Quantify AI Agent Hallucinations
Grafana Labs proposes adapting traditional reliability engineering concepts like Service Level Objectives (SLOs) and error budgets to monitor AI agents, addressing the gap where standard metrics fail to capture correctness, task completion, or toxicity. By converting multi-dimensional behavioral evaluations into measurable SLIs, this approach allows teams to tolerate a defined rate of 'hallucinations' while balancing development velocity with quality stability.
Full Report
Grafana Labs 提出使用一种熟悉的可靠性工程方法，解决现代软件中一个相对陌生的问题：如何衡量 AI 智能体的实际表现是否良好。在最近的一篇文章中，该公司介绍了如何使用评估、服务级别目标（SLO）和错误预算，将幻觉、任务完成度、毒性和成本等行为转化为可衡量的目标，并持续监控。
这一构想针对的是传统应用可观测性的一项根本局限。传统指标可以告诉工程师，智能体响应速度很快、没有遇到技术错误，并消耗了一定数量的 Token，但这些指标未必能说明它的答案是否正确、是否以现有信息为依据，或者是否对用户有用。Grafana 的方法是评估行为本身，并将结果转换为可以对照 SLO 进行衡量的 SLI。
第一步是评估。评估会检查一次智能体交互，并判断它是否满足某项特定的行为标准。Grafana 给出的示例包括：响应是否以所提供的上下文为依据、是否完成了用户请求、是否包含有毒内容、是否泄露个人信息，或者是否受到提示词注入的影响。评估可以使用另一个语言模型充当裁判，但如果无需 LLM 就能识别相关行为，也可以使用正则表达式等确定性检查。
这与尝试创建单一的“智能体质量分数”存在重要区别。Grafana 认为，质量是多维的：一个智能体可能回答有据可依但成本高昂，可能有帮助却偶尔生成有毒内容，也可能准确但速度缓慢。将这些方面作为独立指标，可以让团队针对特定应用真正关注的行为分别设定目标，而不是将重要故障隐藏在一个汇总分数中。
一旦某种行为可以被衡量，传统的 SRE 概念就可以派上用场。Grafana 举例称，可以设置一个 SLO，要求在 30 天内，95% 的对话被判定为已经完成用户请求。剩余的 5% 就成为错误预算，即团队明确决定在这一时期内可以容忍的不可接受行为数量。
这种方法的重要性，与其说在于百分比本身，不如说在于它所建立的决策模型。当错误预算仍然充足时，团队可以尝试调整提示词、模型或智能体行为。随着预算逐渐耗尽，工作重点可以转向提高质量，而不是继续引入更多变更。从概念上看，这与 SRE 团队长期以来用于平衡可靠性和开发速度的取舍相同。Grafana 现有的 SLO 工具同样通过 SLI、目标值和时间窗口定义 SLO，并根据目标值与 100% 之间的差额计算错误预算。
当智能体行为逐渐变化，而不是突然发生严重故障时，这种方法尤其有用。传统告警可能会发现失败请求突然激增，但智能体可能仍在正常响应，其答案却在悄然变得不那么有用。模型变更、提示词修改、检索方式变化或用户行为转变，都可能导致质量每天下降零点几个百分点。
Grafana 认为，监控错误预算的消耗可以使这种漂移变得可见。对于一个 30 天的目标而言，单次糟糕交互可能并不重要，但持续下降会稳定地消耗可用预算。这提供了一种不同于传统基础设施监控的信号：需要关注的不一定是某一次执行是否失败，而是系统的整体行为是否正在偏离约定的可靠性边界。
最困难的部分可能不是创建 SLO，而是决定什么才算可接受的行为。对于可用性目标，组织可以借鉴数十年的运维经验；但对于智能体的任务完成度或回答有据性究竟应该达到 85%、95% 还是 99%，业界远未形成同等程度的共识。
Grafana 的方法是先通过评估建立基线，再利用历史结果帮助推荐适当的目标值。随着智能体逐渐成熟，之后还可以收紧目标。这一概念也反映出可观测性覆盖范围正在发生更广泛的变化。Grafana 自身的智能体可观测性工作，源于监控 Grafana Assistant 时遇到的问题：随着提示词、模型和工具不断变化，传统监控已无法满足需求。在社区讨论中，Grafana 工程师将离线评估与在线评估区分开来：前者针对已知场景验证变更，后者则根据真实的生产交互评估行为。
传统可观测性通常关注系统是否可用，以及性能是否处于技术限制范围内。AI 系统引入了另一个层面：系统的决策和输出是否仍处于可接受的行为边界内。这在评估、可观测性和工程变更之间建立了一个反馈闭环，与传统应用监控相比，它更接近持续质量度量。
这种方法也存在一项重要限制。SLO 的有效性完全取决于其底层测量。如果充当裁判的 LLM 持续错误分类响应，由此产生的错误预算可能会带来一种虚假的精确感。同样，设计不当的评估可能会奖励那些在技术上满足某项标准，却没有真正满足用户意图的智能体输出。
这意味着，组织仍然需要具有代表性的评估数据集、对可接受行为的清晰定义、在适当场景中采用确定性检查、对模糊案例进行人工审查，并持续验证评估器本身。SLO 提供了治理机制，但并不会让底层质量测量天然变得正确。
SLO 传统上为工程团队平衡可靠性和变更提供了一套共同语言：定义重要事项，对其进行衡量，设定可接受的阈值，并利用剩余的错误预算指导决策。
将同样的思路应用于 AI 智能体，可以把这一模型从系统可靠性扩展到行为可靠性。智能体在技术层面可能处于可用状态，但在运行层面却并不可靠，因为它的答案正在变得越来越不准确、缺少依据、成本高昂或不安全。将这些行为作为可衡量的服务目标，可以为工程团队提供一种机制，用于发现这种退化，并决定何时应该停止实验、转而进行修复。
因此，其意义并不只是 Grafana 又增加了一项 AI 指标，而是一个成熟的 SRE 原则正在被应用于一种特殊环境：系统即使仍然“在线”，也可能变得越来越不可信。对于正在将 AI 智能体投入生产环境的组织而言，这一区别可能会成为 AI 可观测性中更为重要的组成部分之一。
Grafana 的 SLO 方法是行业推动智能体行为可度量化这一更广泛努力的一部分，不过其他组织正在从不同方向解决这个问题。例如，Anthropic为智能体制定了更加正式的评估实践，通过定义明确的任务、重复试验和多个评分器，衡量智能体能否持续达成预期结果。其中，pass@k 与 pass^k 之间的区别尤其适用于生产环境中的智能体：pass@k 衡量智能体在多次尝试中是否至少成功一次，pass^k 则衡量它能否在所有尝试中始终成功。对于生产智能体而言，可靠性比最终偶然找到一次答案更加重要。
OpenTelemetry 则从不同层面处理这一问题，它正在为智能体遥测制定标准化语义约定，使追踪、指标和日志能够为跨框架、跨供应商评估智能体行为提供一致的基础。这些方法共同展现出一种正在形成的模式：评估负责判断智能体的行为是否正确，可观测性提供证据，而 SLO 则提供用于判断该行为是否可以接受的运行阈值。
原文链接：