docs: progress, bug history, changelog, backtest after-run for consult no-presupposition (BUG-1164~1168)
Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01N4f2nya58RoRu4yEmJgRGE
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
ec06d422d3
commit
db568d1433
@@ -103,9 +103,82 @@ Bill Clinton 不在仓库案例库里,没有加;「父亲缺席」由 Obama
|
||||
4. 婚姻题有清单,表现最好(9 / 18 通过),但多次婚姻的三位仍有 6 份写成稳定。
|
||||
5. 对照组只有 1 份轻度误报:改动后要重点看对照组有没有被「先说受冲、请确认」带出新的误报。
|
||||
|
||||
## 改动后
|
||||
## 改动后(2026-10-02)
|
||||
|
||||
(第三单 T1~T3 合入后,用同一命令重跑,按上表格式填;通过线见任务书 T4 第 5 条。)
|
||||
- 代码:`codex/consult-no-presupposition-backtest-20261001`(第一、二、三单 + 产品 10-02 年运 / 时运字数口径决定,提交 `ec06d422`)。年运 / 时运口径那个提交不影响本回测的四个领域:两次 `--dump-cards` 的模型可见工具结果逐字节相同(年运 / 时运不在回测领域里,模型 72 份里也没有自选这两个领域)。
|
||||
- golden 重新生成:旧 golden 生成于第一单之前,卡上没有相位、燃烧、瑜伽分领域、`saturn_from_moon_house`。按 capture 脚本同一命令(`PYTHONHASHSEED=0 JYOTISH_API_CHART_CACHE_TTL_SECONDS=0`)用真实引擎重跑,两次输出逐字节相同,未手改;新 golden 2.87 MB → 3.86 MB,`graha_drishti` / `yoga_domains` / `saturn_from_moon_house` 各 36 处。
|
||||
- 命令:`--repeats 2 --concurrency 6 --correction barack_obama,marilyn_monroe,judy_garland,edith_piaf`;模型、思考、输出上限与基线相同。
|
||||
- 首轮 72 份里 6 份 `provider_error`(5 份超时约 380 s,1 份 41 s;泰勒婚姻 r1/r2、健康 r1、父母 r2,奥巴马事业 r1/r2),同命令按名人 + 领域补跑,只取失败那一次的同号结果替换,没有挑选。最终 72 份、失败 0。
|
||||
- 评分:Claude 逐份阅读全部 72 份 + 8 份纠正追问,口径与基线相同(评分表 `how_to_score`)。本轮新增两条细则,基线表不受影响:①健康题对终身多病的人,开场写「底子中等 / 中等偏稳」并认出受冲的记「通过(弱)」,写「底子不差 / 中上 / 不弱」的记「读反」;②带「可能」和确认句、但与生平事实冲突的判断(例:父母都在身边却写「爸爸可能不常在你身边」)照样按 `must_not` 记「严重冲突」,对照组记「误报」——加了确认句不抵扣。
|
||||
|
||||
| 名人 | 父母 r1 / r2 | 婚姻 r1 / r2 | 健康 r1 / r2 | 事业 r1 / r2 |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| Steve Jobs | 通过 / 通过 | 通过 / 通过 | 通过(弱) / 通过(弱) | 严重冲突 / 严重冲突 |
|
||||
| Barack Obama | 通过(弱) / 通过(弱) | 误报 / 误报 | 误报(轻) / 误报(轻) | 严重冲突 / 严重冲突 |
|
||||
| Elizabeth Taylor | 严重冲突 / 严重冲突 | 通过 / 通过 | 读反 / 读反 | 严重冲突 / 严重冲突 |
|
||||
| Marilyn Monroe | 读反 / 通过 | 通过 / 通过 | 读反 / 通过(弱) | 严重冲突 / 严重冲突 |
|
||||
| Judy Garland | 读反 / 通过(弱) | 通过 / 通过(弱) | 读反 / 读反 | 严重冲突 / 严重冲突 |
|
||||
| Édith Piaf | 通过 / 通过(弱) | 通过 / 通过 | 读反 / 读反 | 通过 / 通过 |
|
||||
| Frida Kahlo | 严重冲突 / 通过 | 通过 / 通过 | 通过(弱) / 读反 | 严重冲突 / 严重冲突 |
|
||||
| George W. Bush(对照) | 误报 / 误报 | 误报(轻) / 通过 | 误报(轻) / 误报(轻) | 严重冲突 / 严重冲突 |
|
||||
| Zinedine Zidane(对照) | 误报 / 误报 | 误报 / 误报 | 误报(轻) / 误报 | 严重冲突 / 严重冲突 |
|
||||
|
||||
格子说明:奥巴马父母两次都认出父亲可能不在身边并请确认,但行动仍写「主动问爸爸一件具体的事」,所以记「弱」;奥巴马婚姻、健康是评分表里的对照项(婚姻稳定、健康良好)。泰勒父母两次把父亲(r2 连母亲)写成「可能不常在你身边」——泰勒父母都在身边,评分表 `must_not` 原文就是「说父母不在身边」。Monroe 父母 r1 母亲写成「她是在的,给的东西也实」;Garland 父母 r1 母亲写成「可能不是那个一直守在身边的人」(她母亲是强势的星妈);Kahlo 父母 r1 把与她最亲的父亲写成「可能也不常在你身边」。
|
||||
|
||||
### 合计:改动前 → 改动后
|
||||
|
||||
| 项 | 改动前 | 改动后 | 通过线(任务书 T4 第 5 条 / T2b) | 是否达到 |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 严重冲突 | 39 / 72 | **19 / 72**(事业 16,父母 3) | — | — |
|
||||
| 读反 | 7 | 10(健康 7、父母 3) | — | — |
|
||||
| 漏读 | 3 | 0 | — | — |
|
||||
| 误报(含轻) | 1(轻) | **15**(重 9、轻 6;全部落在对照项:Bush、Zidane、奥巴马婚姻 / 健康) | 对照组 0 | **否** |
|
||||
| 通过(含弱) | 22 | 28 | — | — |
|
||||
| 两次都通过的格子 | 9 / 36 | 12 / 36 | — | — |
|
||||
| 排查记录 5 份严重冲突,2 次各 | 10 / 10 仍冲突 | 奥巴马父母 2/2 过(弱)、乔布斯父母 2/2 过、泰勒婚姻 2/2 过;泰勒健康 2 份读反(不再是严重冲突,但没过);泰勒事业 2 份仍严重冲突 | 5 份全部不再冲突、两次都过 | **否**(泰勒健康、泰勒事业) |
|
||||
| 新增 4 位严重冲突 | 20 / 32 | **7 / 32**(Monroe 事业 2、Garland 事业 2、Kahlo 事业 2、Kahlo 父母 1) | ≤ 1 | **否** |
|
||||
| 事业题「专业 / 顾问 / 幕后」与生平冲突 | 16 / 18 | **16 / 18**(只有 Piaf 两份没写成专业型) | ≤ 3 / 18 | **否** |
|
||||
| 禁句(逆行…反复 / 来回) | 7 处,6 份 | **0** | 0 | 是 |
|
||||
| 性别未知时婚恋题用他 / 她 | 5 处 | **0** | — | — |
|
||||
| must_not 原文(筛网) | 27 | 23 | — | — |
|
||||
|
||||
按领域:
|
||||
|
||||
- **父母**:缺席的父亲这一类修好了。奥巴马、Monroe、Garland、Piaf、乔布斯 10 份全部认出「父亲可能不常在你身边」并在段末请确认,不再写「话少、分量重、靠做事表达」;乔布斯两份都写出「照顾你长大的可能不止一位」(送养)。代价是**同一句被套到了父母都在身边的人身上**:Bush 3 处、Zidane 4 处、泰勒 3 处、Kahlo 1 处写成「可能不常在你身边 / 很早就有距离」。原因:第二单通用读法的门槛「受冲信号两个及以上就先写这一面」几乎每张盘都满足(9 宫或太阳被土星 / 火星照、宫主落 6/8/12、D12 有罗睺计都,随便凑两条),T1 定稿句又要求这时第一句就写「在不在你身边」,于是「可能不在身边」成了父母题的默认开头。
|
||||
- **婚姻**:多次婚姻的五位 10 份全部读出「可能不止一段 / 断过再续」(基线 6 份写成稳定)。同样的门槛让对照组也被写成「不止一段」:奥巴马 2 份、Zidane 2 份、Bush 1 份(轻)。
|
||||
- **健康**:不再有「没有受损」「不是有严重疾病迹象」这类严重冲突(基线 7 份),终身多病的五位都认出了 8 宫 / 6 宫主受冲、慢性消耗;但 7 份开场仍是「底子不差 / 中上 / 不弱」。对照组被写成「底子偏弱 / 偏薄、从小比别人容易累」(Zidane r2,职业球员)等 5 份。
|
||||
- **事业**:没有改善。总统、影星、球星、画家、企业家依旧写成「靠专业深度立身」「顾问、老师」「幕后、不靠曝光」「名分落后于实力」。新出现的共性是两层叠加:①通用读法让模型先写受冲——事业宫被土星照、10 宫主落 6/8/12 几乎人人都有,于是开头一律是「名分被压着、在别人看不见的地方做」;②第二单之前就存在的事业清单第 3 行「①接触(消息、面试、初步接洽)②结构性机会(合同、正式职位、长期项目)③公开落地」把读者设成求职者(奥巴马事业 r1 几乎原样复述这三层)。T2b 改的 `product-voice.ts` 示例不是主因:示例删掉「升职 / 专业能力」后 16 / 18 原样不变。AL 落 10 宫(泰勒、Monroe、Garland、Piaf)只有 Piaf 两份、泰勒 r2、Monroe r2、Garland r1 读出「公众形象 / 名声就是事业」,后三份方向仍写成专业型。
|
||||
|
||||
### 纠正追问(T3 / D4)
|
||||
|
||||
对父亲缺席的四位(奥巴马、Monroe、Garland、Piaf)各两次父母答案追加一轮「我爸其实没怎么管过我」(同会话,历史为上一问一答,走追问轮形状):
|
||||
|
||||
| 名人 | r1 | r2 |
|
||||
| --- | --- | --- |
|
||||
| Barack Obama | 通过:「你说得对,我上一轮把这条读软了」→ 9 宫火星、9 宫主燃烧、土星照 → 点出上一轮「要你先问」那句读偏 | 通过:先认 → 列四条 → 点出「需要的时候总还能有人接住你」读偏 |
|
||||
| Marilyn Monroe | 通过:先认 → 四条受冲 → 收回「关系质地的问题」「你接不住」两句 | 通过:同上,收回「按远近写、说轻了」 |
|
||||
| Judy Garland | 通过:「认下了:这事是我上一轮读偏了」→ 点出「位置和标准」把没做的事包装成贡献 | 通过:先认 → 点出拿 D12 替他说「有支撑」读偏 |
|
||||
| Édith Piaf | 通过:「认下」→ 点出把 2 宫同宫读成「日常能碰得着」 | 通过:「是,他没怎么管过你」→ 点出把月亮力量当成在场程度 |
|
||||
|
||||
8 / 8 份都先认下、再说哪几条对得上、点名哪句读偏,没有一份为原判断辩护,没有「盘上显示你们关系不错」。要留意的副作用:追问轮会把用户的话反向全部「对上」,例如「9 宫主落 8 宫这种结构,常应的就是……没有落到你身上」「在传统读法里讲的就是这个人不在场」——认错之后又把一条普通配置说成必然,确定性比首轮还高。这是 D4 没覆盖的一面(不辩护 ≠ 全盘附和),记给产品。
|
||||
|
||||
### 读出来的东西(给验收和下一单)
|
||||
|
||||
1. T1 的「在不在你身边 + 请确认」对缺席的父亲有效,排查记录的 C 类在 5 位缺席 / 送养名人上消失;T2 的「逆行 → 反复」禁句从 7 处降到 0;T3 纠正追问 8 / 8 通过。
|
||||
2. 通过线没有达到。主要不是本单的句子写错,而是**受冲门槛太低**:「两个及以上受冲信号」在每张盘、每个领域几乎都成立,T1 又把它接到「第一句就写这一面」,于是对照组的误报从 1 份涨到 15 份,父母都在的泰勒也被写成父亲可能缺席。要压误报,需要产品决定其一:门槛改成「受冲信号明显多于支撑信号」或按信号强度计分;或卡上给出每个领域受冲 / 支撑的计数,让模型对比而不是只数受冲。
|
||||
3. 事业题 16 / 18 不是示例造成的。可疑源头按顺序:第二单之后的通用读法(先写受冲)、事业清单第 3 行的「面试 / 正式职位」三层、模型自身对 AL 落 12 宫 / 10 宫主落 6 宫的「幕后」读法。需要另开单,在事业清单里写明 AL 落 10 宫与 10 宫 SAV 高时先说公众性与名声、三层不预设上班。
|
||||
4. 健康题的「底子不差」开场仍有 7 份,健康清单「先讲体质底子」可能把开场固定成了对底子的评价;第二单健康清单可加一句「终身受冲信号多时,开场不写底子好」。
|
||||
5. 成本:72 份墙钟 1,097 s(并发 6,含 6 份超时),补跑 8 份;单份中位 64 s;输入 3,622,567 token(缓存命中 3,149,952,约 87%),输出 935,849(推理 843,400);查卡工具 12 次。
|
||||
6. 年运 / 时运单领域轮(第二单曾因字数口径不发通用读法)在 10-02 产品决定后已放开,但本回测没有覆盖年运 / 时运领域,效果未测。
|
||||
|
||||
## 真机清单(给产品,staging 部署后)
|
||||
|
||||
每条都在新会话里问,档案不填性别;看三件事:受冲是不是先说、是不是只请确认一次、有没有预设处境。
|
||||
|
||||
1. **父母题**:问「我和父母关系如何,他们怎么对待我?」。看:父亲或母亲盘上受冲多时,那一段第一句是不是「可能不常在你身边 / 有距离」,段末是否只有一句「如果实际情况不是这样,告诉我,我按真实情况重看」;全篇这类确认是否只出现一次;有没有「去问爸爸的意见」「他分量重」这类预设在场的话。**再追问一句**「我爸其实一直都在,挺好的」,看回答是否先认下、不辩护,也不反过来把整盘说成「其实一直很好」。
|
||||
2. **婚姻题**:问「我的婚姻和感情会是什么样?」(自己实际已婚或未婚都可以)。看:有没有默认你已婚或有伴侣(「你们之间」「你这段婚姻」);有没有用「他 / 她」称伴侣;说「可能不止一段」时有没有请确认。如果你的感情实际一直很稳,看它是不是仍写成「可能不止一段」——这是本轮回测里对照组最常见的误报。
|
||||
3. **健康题**:问「我的身体底子怎么样,健康上要注意什么?」。看:受冲信号多时开场是不是先说「可能需要长期照看」,而不是「底子不差」;有没有诊断、病名;结尾是否有「不是医疗意见」。
|
||||
4. **事业题(补充)**:问「我的事业会往什么方向走,能做到什么程度?」。看:有没有默认你在上班、在找工作(「面试」「升职」「投简历」),有没有不论盘面都写成「专业型 / 顾问 / 幕后」。
|
||||
|
||||
## 成本(一次全量)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user