docs(research): measure dated probe supply after six answers

Offline holdout replay shows refresh-only R3+R4 add discriminative dated probes; R1/R2 do not meet the gate. Co-authored-by: Cursor <cursoragent@cursor.com>
2026-09-13 12:59:46 +08:00
parent da048676ba
commit b063c66835
4 changed files with 23412 additions and 0 deletions
@@ -0,0 +1,101 @@
+# 六题之后刷新出题供给测量（2026-09-13）
+
+- 任务：`docs/tasks/TASK-rectification-probe-supply-research-20260913.md`
+- 代码基线：`da048676ba24242d1e7372d0ff63ec5664a63e6a`（`codex/rectification-probe-supply-research-20260913`）
+- 数据：`references/real_case_calibration/minute_rectification_holdout_v3.json`（20 例公开 AA，`source_audit_status=invalidated_after_replay`，只作开发集趋势，不是发布指标）
+- 性质：离线测量。生产 `event_probes.py` 默认行为未改。
+
+## 方法
+
+1. 每例用 holdout 公开事件对声明分钟 ±`candidate_radius_minutes` 打分，生成生产路径带年月题。
+2. 按信息增益取前 6 道，用对真实分钟最优的 yes/no 回放（真实分钟落在 yes 组答 yes，落在 no 组答 no）。
+3. 剩余活动簇代表若多于 5 个，保留真实簇并按后验截到 5 个，模拟「六题后剩余 ≤5 候选」。
+4. 对该剩余集按 `refresh_probes=true` 再生成题：baseline 走生产函数；R1–R4 只在本脚本里临时改封锁年、事件家族、`MIN_BOUNDARY_DAYS`、Vimshottari 第三级与 D9/D10 上升 Narayana。
+5. 新题按最优答案继续回放，比较头名命中与剩余范围宽度。
+
+有分辨力：真实分钟（或其簇代表）能落到 yes 或 no，且另一组里还有剩余候选。相同 yes/no 划分只计一次 unique split。收益门槛是相对生产刷新 **多出** ≥1 道独立划分，且头名不降。
+
+## 放宽项
+
+| 代号 | 改法 |
+| --- | --- |
+| R1 | 刷新时只封已问/已知的确切年，去掉 ±1 年封锁 |
+| R2 | 事业按入职/升职/离职、感情按结婚/分手，同域同年可再出一道 |
+| R3 | 刷新阶段 `MIN_BOUNDARY_DAYS` 45→30 |
+| R4 | 边界加 Vimshottari pratyantar，以及 D9/D10 上升的 Narayana |
+
+问满 6 道且剩余 ≥2 因而进入刷新测量的例子：12/20。
+
+## 总表
+
+| 方案 | 平均新增题 | 相对生产多出题 | 平均有分辨力 | 平均独立划分 | 相对生产多出划分 | 有分辨力的例子 | 六题后头名 | 回放后头名 | 头名差 | 六题后宽度 | 回放后宽度 |
+| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
+| baseline | 1.75 | 0.0 | 1.75 | 1.333 | 0.0 | 7/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 9.5 |
+| R1 | 1.833 | 0.083 | 1.833 | 1.417 | 0.084 | 8/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 9.58 |
+| R2 | 2.5 | 0.75 | 2.5 | 1.583 | 0.25 | 8/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.67 |
+| R1+R2 | 2.5 | 0.75 | 2.5 | 1.583 | 0.25 | 8/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.67 |
+| R3 | 3 | 1.25 | 3 | 2.333 | 1.0 | 10/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 9.25 |
+| R1+R3 | 3 | 1.25 | 3 | 2.333 | 1.0 | 10/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 9.17 |
+| R2+R3 | 3.833 | 2.083 | 3.833 | 2.417 | 1.084 | 10/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8 |
+| R1+R2+R3 | 3.917 | 2.167 | 3.917 | 2.417 | 1.084 | 10/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.42 |
+| R4 | 3.25 | 1.5 | 3.25 | 2.417 | 1.084 | 10/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.67 |
+| R1+R4 | 3.5 | 1.75 | 3.5 | 2.75 | 1.417 | 11/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.5 |
+| R2+R4 | 4.333 | 2.583 | 4.333 | 2.5 | 1.167 | 10/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.5 |
+| R1+R2+R4 | 4.25 | 2.5 | 4.25 | 2.667 | 1.334 | 11/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.75 |
+| R3+R4 | 3.5 | 1.75 | 3.5 | 2.833 | 1.5 | 10/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.42 |
+| R1+R3+R4 | 3.667 | 1.917 | 3.667 | 2.75 | 1.417 | 11/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.58 |
+| R2+R3+R4 | 4.25 | 2.5 | 4.25 | 2.75 | 1.417 | 10/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8.25 |
+| R1+R2+R3+R4 | 4.833 | 3.083 | 4.833 | 2.75 | 1.417 | 11/12 | 0.9167 | 0.9167 | 0.0 | 11.33 | 8 |
+
+## 结论
+
+**有收益，可另立实现单。**
+
+- 判定：`benefit`
+- 原因：at least one relaxation added >=1 unique true-cluster split vs production refresh without dropping top-1
+- 立实现单：是
+- 达到门槛的组合：R3, R1+R3, R2+R3, R1+R2+R3, R4, R1+R4, R2+R4, R1+R2+R4, R3+R4, R1+R3+R4, R2+R3+R4, R1+R2+R3+R4
+
+## 建议实现范围
+
+立实现单只做 **刷新阶段 R3 + R4**：
+
+- R3：刷新时 `MIN_BOUNDARY_DAYS` 45→30。单独达到门槛（相对生产 +1.0 独立划分、+1.25 题），改动最小。
+- R4：刷新边界加 Vimshottari pratyantar 与 D9/D10 上升 Narayana。单独 +1.084 独立划分、+1.5 题。`_vim_start_dates` 已有 `include_pratyantar`，生产默认仍为 false。
+- 合做 R3+R4：+1.5 独立划分、+1.75 题；头名 0.9167 不降，宽度 11.33→8.42。
+- **不做 R1**：只多 0.084 划分。
+- **不做 R2**：多出的题大多是同一 yes/no 划分的家族复题；单独只多 0.25 划分。
+- 即使 R3+R4，仍有例子问满 6 道后刷新还是 0 题。定向补事（方案 A）仍要保留。
+
+## 分例
+
+| 例子 | 问了几道 | 剩余 | 截断 | 真实还在 | baseline 新题 | 最好组合 | 该组合新题 | 该组合分辨力 |
+| --- | ---: | ---: | --- | --- | ---: | --- | ---: | ---: |
+| barack_obama_1961_aa_v4_holdout | 6 | 5 | capped_to_5 | True | 1 | R2+R4 | 9 | 9 |
+| angelina_jolie_1975_aa_v4_holdout | 6 | 5 | natural | True | 0 | R2+R3 | 8 | 8 |
+| tiger_woods_1975_aa_v4_holdout | 0 | 5 | capped_to_5 | True | 0 | R2+R3 | 8 | 8 |
+| elizabeth_taylor_1932_aa_v4_holdout | 6 | 5 | natural | True | 3 | R1 | 4 | 4 |
+| elizabeth_montgomery_1933_aa_v4_holdout | 4 | 5 | natural | True | 2 | R1+R2 | 8 | 8 |
+| pablo_picasso_1881_aa_v4_holdout | 0 | 5 | capped_to_5 | True | 0 | R1+R2 | 9 | 9 |
+| sigmund_freud_1856_aa_v4_holdout | 0 | 5 | capped_to_5 | True | 0 | R2+R3 | 11 | 11 |
+| salma_hayek_1966_aa_v4_holdout | 6 | 4 | natural | True | 1 | R3 | 5 | 5 |
+| steve_reich_1936_aa_v4_holdout | 4 | 5 | capped_to_5 | True | 0 | R1+R2+R4 | 7 | 7 |
+| albert_brooks_1947_aa_v4_holdout | 0 | 5 | capped_to_5 | True | 0 | R1+R2+R3+R4 | 8 | 8 |
+| paul_ryan_1970_aa_v4_holdout | 3 | 5 | natural | True | 0 | R2 | 7 | 7 |
+| tom_kennedy_1927_aa_v4_holdout | 6 | 4 | natural | True | 1 | R2+R4 | 7 | 7 |
+| andrew_windsor_1960_aa_v4_holdout | 6 | 2 | natural | True | 0 | R3 | 4 | 4 |
+| sean_lennon_1975_aa_v4_holdout | 6 | 4 | natural | True | 0 | R2+R4 | 7 | 7 |
+| joseph_kennedy_iii_1980_aa_v4_holdout | 6 | 3 | natural | True | 0 | baseline | 0 | 0 |
+| kurt_cobain_1967_aa_v4_holdout | 6 | 4 | natural | True | 7 | R1+R2+R3+R4 | 10 | 10 |
+| john_robbins_1947_aa_v4_holdout | 6 | 2 | natural | True | 0 | R1+R4 | 1 | 1 |
+| chad_everett_1937_aa_v4_holdout | 6 | 4 | natural | True | 3 | R2+R3+R4 | 5 | 5 |
+| bernd_eichinger_1949_aa_v4_holdout | 2 | 5 | capped_to_5 | True | 0 | R1+R2+R3+R4 | 5 | 5 |
+| iwao_takamoto_1925_aa_v4_holdout | 6 | 5 | natural | True | 5 | R2 | 7 | 7 |
+
+## 边界
+
+- 最优答案是相对已公布 Rodden AA 分钟的上界，不是真实用户会怎么答。
+- holdout 已被 `invalidated_after_replay`，不得写成发布准确率。
+- R2 若只换事件家族文案、分盘激活规则不变，yes/no 划分可能与默认家族重复。
+- 未把研究脚本接到生产路径。
+