docs(bug-history): BUG-1600 follow-up eval of the no-gloss D9 wording
Independent Staging Quality Gate / validate-python (push) Successful in 6m21s
Independent Staging Quality Gate / validate-frontend (push) Successful in 6m25s
Independent Staging Quality Gate / publish (push) Successful in 2m45s

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01DbBXoyeZrYn6ryNcSe5Y2Y
This commit is contained in:
2026-11-05 09:10:04 +08:00
co-authored by Claude Opus 5.5
parent 75c689353b
commit 3d10a5bc5e
+1
View File
@@ -21919,6 +21919,7 @@
- 修复(分支,未上线):只改婚姻分支:「内里有底子」也不写;D9(婚姻分盘)是同一条线的一部分,不是关系能长久的另一份证明;力量只能说本人带进关系里的东西,不说关系能持久。父母分支与 ≥2 / 1 / 0 逻辑不变。
- 验证:咨询相关测试 563 / 563 通过(分支作者)。盲评:基线 = staging 39825d4e,同一 golden、同一命令,只跑婚姻原题,9 人 × 每轮 2 份 × 4 轮 = 每版 72 份;打乱、隐藏版本,同一份评分说明,重评 54 份(38%),判定一致 52 / 54;另一轮盲标注数「分量 / 稳定的正面断言」;bootstrap 10 000 次,按 36 个题(人 × 轮)配对。持久 / 分量断言 63 → 25(−38,95% CI [−46, −30]),泰勒 8 → 2(剩下两份是「不是空的」一类),奥巴马 8 → 1、乔布斯 7 → 0、嘉兰 8 → 2。严重 0 → 1(CI [0, +3],梦露一份「走到稳也需要比一般人更长的时间」,第二名评分员判通过);误报 1 → 0(基线齐达内一份);可读性 3.83 → 3.82(不显著)。本轮评分员在婚姻题上普遍宽:基线泰勒 8 份里 8 份被标出「底子不薄」「内里是有厚度的」一类,严重仍判 0 / 8(BUG-1599 第二轮同类句判 4 / 8),所以严重数在本轮分不出两版,以盲标注为准。
- 已知副作用:「婚姻分盘」4 → 24 处(21 份),抄自新句;「自己带着」0 → 4;「底子」56 → 21、「内里」6 → 4 下降。
- 跟进(2026-11-05):pressure 婚姻句去掉「D9(婚姻分盘)」这个注释,改为「D9 同样算在这条线里,不另作关系能稳的证据,回答里也不单独点出这张分盘」(分支 `codex/consult-d9-nocopy-20261105`,`74624856`,基于 staging cb8fcca7)。同一方法盲评(基线 = staging cb8fcca7,只跑婚姻原题,每版 72 份,重评 54 份 = 38%,判定一致 53 / 54;bootstrap 按 36 个题配对):点出婚姻分盘的回答 64 → 9(换叫法的「看婚姻的那张分盘」「更细的分盘」等计入;「婚姻分盘」31 → 0、「分盘」91 → 9 处),「自己带着」10 → 3、「底子」28 → 18;持久 / 分量断言 8 → 8(CI [−7, +7],本轮标注员两版都只标出很少);泰勒 2 → 1,严重 0 / 0;严重 0 → 2(CI [0, +5]:琵雅芙一份把范围标题偏向「同一段关系里反复磨」,第二名评分员判通过;梦露一份「这条感情线有底子……你能建立长期关系」);误报 0 → 0(布什、齐达内都是 0);可读性 3.79 → 3.93(+0.14,CI [+0.01, +0.26])。
- 防复发:服务端给出范围时,同一条线的其它层(分盘、力量)也要在同一句里点名,否则模型会把它读成另一份证明。
- 关联记录:BUG-1599、BUG-1161、BUG-1540。
- 复发自:BUG-1599(同一现象在 D9 层的残留)