docs: r5 and plain-mode r1 blind-eval evidence for BUG-1758/1763/1764
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01DbBXoyn7Hj3LCW3BUs5bZ8
This commit is contained in:
+4
-4
@@ -23870,13 +23870,13 @@
|
||||
|
||||
## BUG-1758 | 取消受冲阈值后,专业模式回答又开始念出受冲条数
|
||||
|
||||
- 状态:fixed-pending-verify(本地分支 `codex/round6-fixes-1108`,未推送)
|
||||
- 状态:fixed-pending-verify(条数部分已在 r5 盲测验证;同源跨层复用未达标,见验证)(本地分支 `codex/round6-fixes-1108`,未推送)
|
||||
- 首次发现 / 最近更新:2026-11-08(r4 盲测,`/workspace/eval-blind-1107/phase2-chat/RESULTS-r4.md` §5)/ 2026-11-08(修复)
|
||||
- 影响面:`frontend/src/lib/consultation-evidence-card.ts`(`evidenceCardPressureLine` 依据句;卡上 `base.natal.affliction_evidence.houses`)、`references/product_runtime_contract.md` E 块 S-09 与 F 节第 6 条、`frontend/src/mastra/product-voice.ts` 专业模式口吻。
|
||||
- 现象:回答里写「受冲信号 2 条」「10 宫受冲 1 条」「第 1 宫有 1 条信号」一类句子的份数:OLD 14/70、r3 6/70、r4 13/70(regex)。
|
||||
- 根因(r3 → r4 的差别):r4 的 13 份里多数在事业、综合题,引用的是卡上 `affliction_evidence.houses.*.signal_count`(「卡上 signal_count 0」),不是父母 / 婚姻 / 健康的 `pressure` 句。r3 与 r4 卡上都有 `signal_count`;变的是文字:S-09 从「只计数,不下结论、不报给用户」改成「留在后台作计数,不单独当结论,也不只报一个条数」——「不只报一个条数」被读成可以连条数一起报;`pressure` 句同时提「条数留在后台不念」「不按条数」和「写出这些来源」,卡上「条数」相关字样从 1 处增到 4 处。
|
||||
- 修复:卡上各宫不再带引擎的 `signals` / `signal_count`(引擎 `scripts/affliction_evidence.py` 的字段保留,后台照用),改为按事实去重的来源账 `affliction_evidence.sources`(`afflictionSourceLedger`):每个来源 = 类型 + 星 + 它作用的宫主,写明读的输入(例「D1:计都与宫主木星同宫」「功能吉凶表:宫主木星为功能凶星」)、作用(conflicts;分盘压力没有输入时另列一条 not_executed)和涉及的宫;各宫只列来源 id。两个宫同一宫主时(例 Jobs 4、7 宫都由木星主),同一事实只是一个来源、列出两个宫,不是两票(占星师 2026-11-08 验收:每个来源写输入与支持 / 冲突 / 未执行,同源规则不算独立票)。父母 / 婚姻 / 健康的 `pressure` 依据去掉重复项;S-09 改为「每一宫的受冲信号只列来源……条数只在后台;回答不写条数,用户需要理解冲突时把实际来源逐个写成盘面事实」;`pressure` 依据句不再提条数,改为「需要解释冲突时把来源逐个写成盘面事实(哪一层、哪颗星、哪一宫),标明是压力一面……同一事实只算一个来源……没算的层写未执行」,0 条句改为「卡上这条线没有列出受冲来源」;专业模式口吻加一条:受冲信号写实际来源(哪一宫、哪颗星、什么关系),不报条数。
|
||||
- 验证:`consult-affliction-sources-1758.test.ts`(同一事实两宫 = 一个来源两宫、输入与作用、分盘未执行、不带条数;golden 三张盘逐来源核对);`consult-evidence-card-20260927.test.ts`(来源账的每个值必须等于 `afflictionSourceLedger` 对引擎层的输出);`consult-pressure-lines-20261104.test.ts`(依据句不含「条数 / 计数 / 数到」)、`consult-named-techniques-20261105.test.ts`(S-09 新句,旧句不再出现),原值 / 新值 / 原因已注明;r5 盲测见 `/workspace/eval-blind-1107/phase2-chat/RESULTS-r5.md`。
|
||||
- 验证:`consult-affliction-sources-1758.test.ts`(同一事实两宫 = 一个来源两宫、输入与作用、分盘未执行、不带条数;golden 三张盘逐来源核对);`consult-evidence-card-20260927.test.ts`(来源账的每个值必须等于 `afflictionSourceLedger` 对引擎层的输出);`consult-pressure-lines-20261104.test.ts`(依据句不含「条数 / 计数 / 数到」)、`consult-named-techniques-20261105.test.ts`(S-09 新句,旧句不再出现),原值 / 新值 / 原因已注明;r5 盲测(`/workspace/eval-blind-1107/phase2-chat/RESULTS-r5.md` §1):念出条数 OLD 14、r4 13 → r5 0/70(regex),LLM 抽取加严格过滤 34 / 23 → 3;引用来源写明读哪一层 512/513。**未达标的一项**:把同源当独立证据的份数 r4 43 → r5 44(LLM 标记),人工复核 r5 10 条确认 4 条,都是跨层复用(A10 主星与 10 宫主同一颗星列两项、一次土星换座算两条行运信号、月亮同时作 AmK 与 AL 主星、D6 罗睺 / 计都同座算两点);卡上来源账只对受冲层去重,跨层复用还没有规则。白话模式(`RESULTS-plain-r1.md` §2):念条数 0;来源写明读哪一层 OLD 290/523 → NEW 188/515,白话规则(不写分盘代号)与「每个来源写输入」冲突,待占星师裁定。
|
||||
- 防复发:上述测试。
|
||||
- 关联记录:BUG-1756、BUG-1599
|
||||
- 修复版本:本地分支 `codex/round6-fixes-1108`
|
||||
@@ -23909,7 +23909,7 @@
|
||||
- 现象:回答写到「## 结论与行动建议」,以一个追问结束,没有「## Technique Audit Table」。
|
||||
- 根因:模型遗漏(`finish = stop`,不是长度截断;输出 16 420 token,其中推理 11 618;卡 90 303 字符完整送达,没有截断),但产品也没有兜底:只有 `finish = length` 时才续写(续写提示会写到审计表),自然结束的回答不检查必写节。专业模式审计表没有任何校验器或修复轮。
|
||||
- 修复:`streamAgentResponse` 新增 `continueForMissingSection`:回答自然结束(未被截断)且专业模式缺审计表时,续写一次,只补「## Technique Audit Table」(`consultationMissingAuditTablePrompt`:五列、外部验证四行、只照本轮计算与已写正文填);续写若因长度停下照常续写,被截断照常失败。补写之后再做输出验收(`consultationAnswerAcceptanceFailure`,占星师 2026-11-08 验收:缺审计表是输出验收失败,不只是提示词):专业模式正文仍没有审计表 → `answer-acceptance` 失败(`technique_audit_table_missing`),本次按未完成处理(保留已写内容、`run.failed`、不扣点);两种模式都要求本次计算带回引擎审计行(产品界面折叠展示的审计表,即白话模式的证据入口),没有 → `technique_audit_evidence_missing`。白话模式正文不写审计表(界面折叠展示),但审计与数据层不能缺。日运入口不触发。审计表识别为标题行或五列表头行,正文里提到表名不算。回测 harness 同步接上。
|
||||
- 验证:`frontend/tests/consult-audit-table-backstop-20261108.test.ts`(缺表 → 一次续写并补上;补写后仍缺 → 验收失败、不完成;白话正文无表可过、缺审计行不过;有表不续写;识别规则;route 与 harness 接线)、`consultation-workflow-contract.test.ts`(续写取证据改为 `continuationEvidence()`,原值 / 新值 / 原因已注明);r5 盲测见 `/workspace/eval-blind-1107/phase2-chat/RESULTS-r5.md`。
|
||||
- 验证:`frontend/tests/consult-audit-table-backstop-20261108.test.ts`(缺表 → 一次续写并补上;补写后仍缺 → 验收失败、不完成;白话正文无表可过、缺审计行不过;有表不续写;识别规则;route 与 harness 接线)、`consultation-workflow-contract.test.ts`(续写取证据改为 `continuationEvidence()`,原值 / 新值 / 原因已注明);r5 盲测(`RESULTS-r5.md` §2):有审计表 69/70 → 70/70;本轮补写 0 次、验收失败 0 次,兜底在真实回答里还没有被触发,只有单元测试覆盖。
|
||||
- 防复发:上述测试;步骤名 `answer-missing-section` 记入回执。
|
||||
- 关联记录:BUG-1753、BUG-1754、BUG-1051、BUG-1053
|
||||
- 修复版本:本地分支 `codex/round6-fixes-1108`
|
||||
@@ -23922,7 +23922,7 @@
|
||||
- 现象:route.ts 把 `answerMode` 传给 agent 上下文、`natalUserTurnShape` 和长度续写 `consultationContinueMessages`;harness 三处都不传。前两处默认值恰好是专业模式,所以专业模式盲测不受影响;但长度续写的默认值是 `plain`,专业模式回答一旦因长度续写,用的是白话续写提示(「不要新起二级标题……不要写统一参数或技法审计表」),与产品不一致。harness 也没有办法跑白话模式。
|
||||
- 根因:harness 照抄 route.ts 时漏了 `answerMode` 参数。
|
||||
- 修复:harness 读 `CONSULT_BACKTEST_ANSWER_MODE`(默认 professional,`plain` 跑白话),三处都传;输出头记回答模式与续写步骤。问题文字不改。
|
||||
- 影响评估:r4 的 70 份里,`answer-continue` 是否发生过 harness 没有记录;manifest 的请求数可以反查(只看最后一次请求是否为续写)。
|
||||
- 影响评估:r4 的 70 份里,`answer-continue` 是否发生过 harness 没有记录;manifest 的请求数可以反查(只看最后一次请求是否为续写)。r5 起输出头记「回答模式 / 续写」:r5 70 份、白话 NEW 70 份续写都是 0。白话盲测第一轮用这个开关跑(`RESULTS-plain-r1.md`)。
|
||||
- 验证:`frontend/tests/consult-audit-table-backstop-20261108.test.ts` 的 harness 接线断言。
|
||||
- 关联记录:BUG-1053、BUG-1763
|
||||
- 修复版本:本地分支 `codex/round6-fixes-1108`
|
||||
|
||||
Reference in New Issue
Block a user