LangChain

Dosu 团队分享了如何通过评估驱动开发（EDD）提升 LLM 产品可靠性，并借助 LangSmith 对智能体活动进行监控与检索，从而在每次迭代中量化改动对终端用户的影响。文章以 LangChain 仓库的自动化维护场景为例，说明可靠性的提升如何直接降低维护与支持负担。

LangChain 发布实验性开源库 Promptim，将提示词工程从手工调优转向自动化优化循环。用户只需提供初始提示词、数据集与自定义评估器，Promptim 即可迭代产出优于原始版本的提示词，延续其评估驱动开发的方法论。

LangChain 宣布 LangSmith 的 BYOC（自带云）部署在 AWS 正式可用，企业可在自有 AWS 账户与 VPC 内运行托管的 LangSmith，追踪、数据集、实验、提示词与智能体部署数据均不出客户云边界。LangChain 负责监控、升级、扩缩容与集群生命周期管理，主要面向需要可观测性与评测能力、但受 PII/PHI 合规约束的智能体生产团队。

LangChain 旗下 LangSmith 团队提出评测驱动开发（EDD）方法论，主张在构建智能体的同时用一致的指标集持续度量表现，并围绕评测结果不断爬坡优化。核心流程包括先写一份简短的规格说明定义何为良好行为，再通过对比实验判断每次改动是修复还是引入回归，最后把评测常驻 CI 与生产环境，并将线上失败案例回流为新的数据集样本。