- 从提示词到系统
- 第五篇 证明它真的稳定
第五篇 证明它真的稳定
提示词改完凭什么说更好:回归评测与代码判分、可观测与失败定位、对抗测试与模型迁移、版本治理与安全审查。没有评测,删除永远比新增危险。
第 19 章 评测
换了一版提示词,凭什么说它更好。本章讲回归集怎么建、能写成断言的绝不交给判分模型、strict k/k 如何把方差本身变成指标,以及失败时先补用例再修的纪律。
第 20 章 可观测与失败定位
症状通常出现在最后一层,只在症状出现的那一层动手往往修不到根因。本章讲一次调用要留下哪些中间产物、探针怎么用,以及如何按职责分层定位故障。
第 21 章 对抗测试与模型迁移
用户不会按你设想的方式说话,模型也会换。本章讲越权与诱导类用例怎么设计,以及模型迁移时哪些面最先暴露——具体敏感度需要跨模型实测,不能凭推理下结论。
第 22 章 版本治理
提示词工程的长期代价在治理。本章讲目标、护栏与诊断三类指标、灰度放量的三个条件、预先定义的回滚线,以及规则退役——只看目标指标,容易慢性劣化。
第 23 章 安全审查
把散在各章的安全条款做一次横向复查:注入与信任边界、权限与作用域、副作用与幂等、隐私与留痕、人工移交与提示词资产本身的保护,附可打印的审查清单。