test: add agent evals and safe observability

docs/BUG_HISTORY.md

@@ -3212,3 +3212,18 @@
 - 防复发：普通咨询只能持久化 canonical consultation domain，独立产品 ID 永不进入 `chat_sessions.theme`；多域执行必须保序、去重、逐域产生真实 receipt，未执行能力不得伪装为 `general` 或 verified；accepted 不得升级为 confirmed，Activity 不得从 Agent 正文推导；所有独立产品写入/计算 API 必须执行服务端 fail-closed gate，数据库迁移保持前向兼容且默认关闭未发布产品。
 - 相关记录：BUG-159、BUG-181、BUG-185、BUG-188
 - 修复版本：本次功能分支提交（精确 SHA 以提交与远程分支核对结果为准；未合并 main/staging，未部署）
+
+## BUG-190 | Agent 评测缺少完整去标识化场景，观测日志无严格非 PII 合同
+
+- 状态：resolved（本地候选，未部署）
+- 首次发现：2026-08-14
+- 最近更新：2026-08-14
+- 影响面：普通咨询、生时校正、个人报告与安全边界的 Agent 回归评测；普通咨询 Agent 运行时日志、用量与结算观测。
+- 用户现象：仓库缺少一套按多轮业务场景统一组织的 Agent golden dataset，无法确定性证明 Skill/工具合同、证据引用闭环、主题覆盖、精确时间边界与校时焦点；自然度等模型评审项也容易被误写成事实门禁。普通咨询运行日志使用拼接字符串且字段零散，没有统一的严格 allowlist，后续增加正文、异常消息、出生资料、密钥或内部路径时缺少 fail-closed 保护。
+- 触发条件：新增或修改普通咨询、校时、报告、安全行为但只运行局部单元测试；把模型评审结果当成事实通过条件；向 Agent 日志添加任意字段或直接记录原始异常消息。
+- 根因：没有版本化、去标识化、多轮 golden dataset 与通用 deterministic scorer；评测事实门禁、模型评审和性能统计未分层。运行观测沿用 route 内自由拼接日志，没有闭合 schema、受控错误码和未知字段拒绝机制。
+- 修复：新增 `agent_golden_dataset.v1`，以 intent code/context tags 表达 34 个 synthetic 多轮场景，完整覆盖五个核心咨询主题、多主题/改问/无出生分钟/accepted-confirmed 边界，校时多事件与不同精度、更正/拒答/跳过/承接/长会话/候选采用确认，报告完整/部分/冲突证据与 accepted 时间、多主题，以及 prompt、凭据、内部路径、高风险确定性请求和伪造出生资料/candidate ID。新增确定性 scorers，分别检查 Skill/工具合同、引用集合闭包、canonical 主题覆盖、规则型 unsupported facts、精确时间违规、校时焦点、工具经济性与延迟/成本统计；引用闭环只接受本轮 `availableEvidenceIds`/`producedEvidenceIds` 中且属于 case catalog 的证据，`fact`/`timing` 不得用 `requiresEvidence=false` 绕过，`accepted` 与 `confirmed` minute 显式分离且后者只在明确 gate/consent case 放行。自然度、重复性、follow-up relevance 和模型型 unsupported-fact review 只产生显式 `pending` 输入。新增严格非 PII Agent observability schema/logger，未知或禁止字段 fail closed、sink 失败不影响业务、异常只映射为受控错误码，并将普通咨询现有 `logRun`/usage/结算接入结构化日志；取消结算重试耗尽时记录 `failed`/`settlement_failed`，不得伪记为 `cancelled`。
+- 验证：PR-8 combined focused TypeScript 矩阵 97 passed、0 failed；目标文件 ESLint 与 `git diff --check` 通过；fixture 隐私扫描未发现姓名、邮箱、真实出生日期/时间/地点、凭据、内部绝对路径或完整用户正文。全库 `tsc --noEmit` 仍只有 5 个既有无关测试错误：`production-data-migration.test.ts` 两处 fixture 字段缺失、`staging-backend-workflows.test.ts` 三处低 target 正则 flag。未运行 quick/browser/accuracy/release 或 staging canary，未部署。
+- 防复发：golden fixture 只能保存 synthetic intent code/context tags，不得保存真实用户正文或出生资料；事实、权限、证据、状态与精确时间边界只能由确定性门禁判定，模型评审必须保持 pending 直到真实执行；catalog membership 不能替代本轮 evidence availability，`requiresEvidence` 不能关闭事实/时间证据规则，accepted 不得升级为 confirmed；Agent observability 不得加入自由格式 metadata、正文、prompt、messages、出生资料、身份信息、secret/API key、provider payload、stack 或内部路径，结算失败不得降级为 cancelled，公开 NDJSON 不得扩展为内部 telemetry。
+- 相关记录：BUG-181、BUG-186、BUG-187、BUG-188、BUG-189
+- 修复版本：本次功能分支提交（精确 SHA 以提交与远程分支核对结果为准；未合并 main/staging，未部署）