research(rectification): typed events scored as answered probes — no benefit (BUG-1089)
v4 open holdout, ±10/±30/±60, raw and percent priors: only 4/9/14 of 57 day-precision training events split candidates; widths unchanged, top-1 drops. Narrowed year blocking (R3) mixed. All arms no_benefit; no implementation brief recommended. Two runs byte-identical. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_017eEAG8HD3mm8gsKXgk8uU8
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
56b51e2170
commit
bcf0c86feb
+11
-7
@@ -14647,25 +14647,29 @@
|
||||
|
||||
## BUG-1088 | 学业质量题一律问「那次上大学」,只记得年份的经历显示成「YYYY 年 1 月」
|
||||
|
||||
- 状态:investigating
|
||||
- 状态:resolved(代码 + 回归测试 + 重新冻结;未部署,真机待合入 staging 后复核)
|
||||
- 首次发现 / 最近更新:2026-09-29 / 2026-09-29
|
||||
- 影响面:`scripts/rectification/event_probes.py::_quality_user_meaning`、`_display_date_label` / `_event_month`(冻结计分文件,ERR-110)。
|
||||
- 影响面:`scripts/rectification/event_probes.py::_quality_user_meaning`、`_display_date_label`(冻结计分文件,ERR-110)。
|
||||
- 用户现象:用户说的是某年一次艺考,卡片问「YYYY 年 1 月那次上大学,更接近如愿、将就调剂…」。
|
||||
- 根因:学业模板写死「上大学」,不看 `event_kind`;年精度经历 `date_start = YYYY-01-01`,取月不看 `precision`。
|
||||
- 修复:待执行(研究单 R0,改文字后按 ERR-110 用新 freeze 路径重新冻结)。
|
||||
- 相关记录:ERR-110
|
||||
- 触发条件:学业经历类型为 education_start / change / interruption,且出现质量题;年精度经历存为 `YYYY-01-01`。
|
||||
- 根因:学业模板写死「上大学」,不看 `event_kind`;`_display_date_label` 用 `_event_month` 取月,不看 `precision`。
|
||||
- 修复:学业分支按类型称呼(升学 / 学业变动 / 学业中断,兜底「学业经历」);`precision == "year"` 的标签只写「YYYY 年」。`_event_month` 与 split hash 不变,计分身份不变。
|
||||
- 验证:`tests/test_rectification_event_probes.py::QualityWordingTests`(4 条);同机 A/B(`scripts/research/quality_wording_ab.py`,`PYTHONHASHSEED=0`)只有 `user_meaning` / `display_date_label` 文本变化,分数、候选决策、题目 id / split / outcomes 逐字节相同;按 ERR-110 新建冻结 `docs/research/sealed_holdout_rerun_quality_wording_2026_09_29.freeze.json`、`docs/research/reported_offset_quality_wording_2026_09_29.freeze.json`,重放 20 / 900 次结果与 09-21 完全一致;验证完整性门禁 83 passed。
|
||||
- 防复发:年精度经历不得在任何用户文案里补月份;新增学业经历类型时同步 `EDUCATION_QUALITY_EVENT_NAME`。质量题四个选项仍含「录取」字样,未改。
|
||||
- 相关记录:ERR-110、BUG-1089
|
||||
- 复发自:无
|
||||
- 修复版本:未修
|
||||
- 修复版本:分支 `codex/rectification-typed-event-research-20260929`,未合入
|
||||
|
||||
## BUG-1089 | 带年月的打字经历不按选择题规则计分,还挡掉同领域相邻年份的选择题
|
||||
|
||||
- 状态:investigating(离线研究单待执行;不上线)
|
||||
- 状态:investigating(离线研究已完成,结论不改代码;等止血单 BUG-1084 落地后由 Claude 决定是否关闭)
|
||||
- 首次发现 / 最近更新:2026-09-29 / 2026-09-29
|
||||
- 影响面:`core/build-state.ts::buildInferenceState`(evidence「是」跳过)、`event_probes.py::_existence_blocked_years`。
|
||||
- 用户现象:同一件「某年某月工作变动」,点选卡答「是」动 ±2 分,自己打字说约等于 0;说了之后那一年附近的选择题也不再出。
|
||||
- 已确认事实(虚构 12 例):12 件经历里去掉 4 件记得到月的,选择题 5/12 例变多,最终宽度中位 17 → 13 分钟。
|
||||
- 根因:计分通道不对称,见 `docs/tasks/TASK-rectification-typed-event-scoring-research-20260929.md`。
|
||||
- 修复:未修。研究单量「打字经历按选择题边界规则计分」在 v4 开放集三档是否过门;过门才立实现单,合入前产品确认。
|
||||
- 研究结果(2026-09-29,`docs/research/rectification_typed_event_scoring_2026_09_29.md`,v4 开放集 20 例,开放集回放不是准确率):按选择题同一判定函数给打字经历计分(R1),57 件日精度训练经历在 ±10 / ±30 / ±60 下只有 4 / 9 / 14 件能把候选分到两边,宽度中位三档不变,头名在 raw 口径下三档都降,判 `no_benefit`;挡题缩到同领域同年(R3)宽窗头名 +0.10~0.15 但 ±10 头名 −0.15,判 `no_benefit`;年月记错 ±1–3 月挤出真值 0–2.9%。结论:计分通道不对称在代码上属实,但打字经历本身多半分不开候选,改计分不划算;不立实现单。
|
||||
- 防复发:不得在研究未过门时改先验尺度或淘汰线(BUG-560)。
|
||||
- 相关记录:BUG-560、BUG-1048、BUG-1084
|
||||
- 复发自:无
|
||||
|
||||
Reference in New Issue
Block a user