Files
Jyotisha/docs/research/probe_supply_after_six_2026_09_13.md
T
Jesse_ChenandCursor b063c66835
Independent Staging Quality Gate / validate (push) Successful in 11m55s
Independent Staging Quality Gate / publish (push) Successful in 8m53s
docs(research): measure dated probe supply after six answers
Offline holdout replay shows refresh-only R3+R4 add discriminative dated probes; R1/R2 do not meet the gate.

Co-authored-by: Cursor <cursoragent@cursor.com>
2026-09-13 12:59:46 +08:00

6.8 KiB
Raw Blame History

六题之后刷新出题供给测量(2026-09-13)

  • 任务:docs/tasks/TASK-rectification-probe-supply-research-20260913.md
  • 代码基线:da048676ba24242d1e7372d0ff63ec5664a63e6acodex/rectification-probe-supply-research-20260913
  • 数据:references/real_case_calibration/minute_rectification_holdout_v3.json20 例公开 AAsource_audit_status=invalidated_after_replay,只作开发集趋势,不是发布指标)
  • 性质:离线测量。生产 event_probes.py 默认行为未改。

方法

  1. 每例用 holdout 公开事件对声明分钟 ±candidate_radius_minutes 打分,生成生产路径带年月题。
  2. 按信息增益取前 6 道,用对真实分钟最优的 yes/no 回放(真实分钟落在 yes 组答 yes,落在 no 组答 no)。
  3. 剩余活动簇代表若多于 5 个,保留真实簇并按后验截到 5 个,模拟「六题后剩余 ≤5 候选」。
  4. 对该剩余集按 refresh_probes=true 再生成题:baseline 走生产函数;R1–R4 只在本脚本里临时改封锁年、事件家族、MIN_BOUNDARY_DAYS、Vimshottari 第三级与 D9/D10 上升 Narayana。
  5. 新题按最优答案继续回放,比较头名命中与剩余范围宽度。

有分辨力:真实分钟(或其簇代表)能落到 yes 或 no,且另一组里还有剩余候选。相同 yes/no 划分只计一次 unique split。收益门槛是相对生产刷新 多出 ≥1 道独立划分,且头名不降。

放宽项

代号 改法
R1 刷新时只封已问/已知的确切年,去掉 ±1 年封锁
R2 事业按入职/升职/离职、感情按结婚/分手,同域同年可再出一道
R3 刷新阶段 MIN_BOUNDARY_DAYS 45→30
R4 边界加 Vimshottari pratyantar,以及 D9/D10 上升的 Narayana

问满 6 道且剩余 ≥2 因而进入刷新测量的例子:12/20。

总表

方案 平均新增题 相对生产多出题 平均有分辨力 平均独立划分 相对生产多出划分 有分辨力的例子 六题后头名 回放后头名 头名差 六题后宽度 回放后宽度
baseline 1.75 0.0 1.75 1.333 0.0 7/12 0.9167 0.9167 0.0 11.33 9.5
R1 1.833 0.083 1.833 1.417 0.084 8/12 0.9167 0.9167 0.0 11.33 9.58
R2 2.5 0.75 2.5 1.583 0.25 8/12 0.9167 0.9167 0.0 11.33 8.67
R1+R2 2.5 0.75 2.5 1.583 0.25 8/12 0.9167 0.9167 0.0 11.33 8.67
R3 3 1.25 3 2.333 1.0 10/12 0.9167 0.9167 0.0 11.33 9.25
R1+R3 3 1.25 3 2.333 1.0 10/12 0.9167 0.9167 0.0 11.33 9.17
R2+R3 3.833 2.083 3.833 2.417 1.084 10/12 0.9167 0.9167 0.0 11.33 8
R1+R2+R3 3.917 2.167 3.917 2.417 1.084 10/12 0.9167 0.9167 0.0 11.33 8.42
R4 3.25 1.5 3.25 2.417 1.084 10/12 0.9167 0.9167 0.0 11.33 8.67
R1+R4 3.5 1.75 3.5 2.75 1.417 11/12 0.9167 0.9167 0.0 11.33 8.5
R2+R4 4.333 2.583 4.333 2.5 1.167 10/12 0.9167 0.9167 0.0 11.33 8.5
R1+R2+R4 4.25 2.5 4.25 2.667 1.334 11/12 0.9167 0.9167 0.0 11.33 8.75
R3+R4 3.5 1.75 3.5 2.833 1.5 10/12 0.9167 0.9167 0.0 11.33 8.42
R1+R3+R4 3.667 1.917 3.667 2.75 1.417 11/12 0.9167 0.9167 0.0 11.33 8.58
R2+R3+R4 4.25 2.5 4.25 2.75 1.417 10/12 0.9167 0.9167 0.0 11.33 8.25
R1+R2+R3+R4 4.833 3.083 4.833 2.75 1.417 11/12 0.9167 0.9167 0.0 11.33 8

结论

有收益,可另立实现单。

  • 判定:benefit
  • 原因:at least one relaxation added >=1 unique true-cluster split vs production refresh without dropping top-1
  • 立实现单:是
  • 达到门槛的组合:R3, R1+R3, R2+R3, R1+R2+R3, R4, R1+R4, R2+R4, R1+R2+R4, R3+R4, R1+R3+R4, R2+R3+R4, R1+R2+R3+R4

建议实现范围

立实现单只做 刷新阶段 R3 + R4

  • R3:刷新时 MIN_BOUNDARY_DAYS 45→30。单独达到门槛(相对生产 +1.0 独立划分、+1.25 题),改动最小。
  • R4:刷新边界加 Vimshottari pratyantar 与 D9/D10 上升 Narayana。单独 +1.084 独立划分、+1.5 题。_vim_start_dates 已有 include_pratyantar,生产默认仍为 false。
  • 合做 R3+R4+1.5 独立划分、+1.75 题;头名 0.9167 不降,宽度 11.33→8.42。
  • 不做 R1:只多 0.084 划分。
  • 不做 R2:多出的题大多是同一 yes/no 划分的家族复题;单独只多 0.25 划分。
  • 即使 R3+R4,仍有例子问满 6 道后刷新还是 0 题。定向补事(方案 A)仍要保留。

分例

例子 问了几道 剩余 截断 真实还在 baseline 新题 最好组合 该组合新题 该组合分辨力
barack_obama_1961_aa_v4_holdout 6 5 capped_to_5 True 1 R2+R4 9 9
angelina_jolie_1975_aa_v4_holdout 6 5 natural True 0 R2+R3 8 8
tiger_woods_1975_aa_v4_holdout 0 5 capped_to_5 True 0 R2+R3 8 8
elizabeth_taylor_1932_aa_v4_holdout 6 5 natural True 3 R1 4 4
elizabeth_montgomery_1933_aa_v4_holdout 4 5 natural True 2 R1+R2 8 8
pablo_picasso_1881_aa_v4_holdout 0 5 capped_to_5 True 0 R1+R2 9 9
sigmund_freud_1856_aa_v4_holdout 0 5 capped_to_5 True 0 R2+R3 11 11
salma_hayek_1966_aa_v4_holdout 6 4 natural True 1 R3 5 5
steve_reich_1936_aa_v4_holdout 4 5 capped_to_5 True 0 R1+R2+R4 7 7
albert_brooks_1947_aa_v4_holdout 0 5 capped_to_5 True 0 R1+R2+R3+R4 8 8
paul_ryan_1970_aa_v4_holdout 3 5 natural True 0 R2 7 7
tom_kennedy_1927_aa_v4_holdout 6 4 natural True 1 R2+R4 7 7
andrew_windsor_1960_aa_v4_holdout 6 2 natural True 0 R3 4 4
sean_lennon_1975_aa_v4_holdout 6 4 natural True 0 R2+R4 7 7
joseph_kennedy_iii_1980_aa_v4_holdout 6 3 natural True 0 baseline 0 0
kurt_cobain_1967_aa_v4_holdout 6 4 natural True 7 R1+R2+R3+R4 10 10
john_robbins_1947_aa_v4_holdout 6 2 natural True 0 R1+R4 1 1
chad_everett_1937_aa_v4_holdout 6 4 natural True 3 R2+R3+R4 5 5
bernd_eichinger_1949_aa_v4_holdout 2 5 capped_to_5 True 0 R1+R2+R3+R4 5 5
iwao_takamoto_1925_aa_v4_holdout 6 5 natural True 5 R2 7 7

边界

  • 最优答案是相对已公布 Rodden AA 分钟的上界,不是真实用户会怎么答。
  • holdout 已被 invalidated_after_replay,不得写成发布准确率。
  • R2 若只换事件家族文案、分盘激活规则不变,yes/no 划分可能与默认家族重复。
  • 未把研究脚本接到生产路径。