LLM 评估与可观测性：严肃团队的必修课

如果说 2024 年大家在拼 Prompt，2026 年大家在拼评估。Anthropic、Google 等厂商的工具链成熟，让“发 Prompt 碰运气”彻底成为业余做法。

Table of contents

为什么评估是第一分水岭

没有评估，模型升级、Prompt 改动、数据变更的影响都是黑箱。严肃团队的评估包含：

• 对比已知好坏样本：黄金集（golden set）持续回归
• 模型回归检测：新模型是否在某些任务上退步
• 超越“感觉对”：定义可度量的质量指标（准确率、幻觉率、延迟、成本）

可观测性：能追踪才能调试

可观测性要求能追踪用户输入 → 构造的完整 Prompt → 模型返回 → 后处理全链路。

// 可观测的调用（伪代码）
const trace = {
  traceId: "req_abc123",
  input: userMessage,
  constructedPrompt: buildPrompt({ context, history, instructions }),
  model: "claude-sonnet-4.5",
  response: rawOutput,
  postProcess: { filtered: true, latencyMs: 1234 },
  tokens: { input: 2345, output: 678 },
}
logger.info(trace) // 接入 OTel / Langfuse / 自建平台

当 AI 功能行为异常时，需像调试其他系统组件一样，有完整的调用栈与上下文。

评估管线的三层

1. 单元评估：针对 Prompt/工具的离线评估，跑黄金集
2. 集成评估：端到端场景，如 RAG 检索→生成全链路
3. 在线评估：生产采样 + 人工标注 + LLM-as-Judge

CI 中：  黄金集回归（100 用例，阈值 >95%）
预发：   影子流量对比（新旧模型并跑）
生产：   采样 5% + 人工抽检 + 告警

LLM-as-Judge 的边界

用 LLM 评估 LLM 是 2026 年主流，但需注意：

• 评估模型应与生成模型分离，避免自证偏误
• 评估 Prompt 需版本化，与被评估对象同等对待
• 关键决策（安全、合规）仍需人工复核

成本与质量的平衡

评估与观测不是免费的：每多一层追踪就多一份存储与计算。但相比“模型幻觉导致客户损失”，这笔投资回报极高。

小结

2026 年，评估与可观测性已从“可选”变为“必选”。它是 AI-Native 架构的底座，也是区分“能用 AI”与“能可靠地用 AI”的标志。先建评估，再谈优化。