research(rectification): score D12 parent probes, sample underpowered (BUG-1308)
This commit is contained in:
jesse-ux
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,88 @@
|
||||
# D12 父母静态是非题：分界两侧有没有区分力（2026-10-12）
|
||||
|
||||
结论：**欠力**。预登记要求至少 60 个可计分案例。本轮打开了 77 个公开页，按锁定的编码规则只有 **6** 例至少有 4 道题答成「是」或「否」。结果文件的 `decision` 是 `control_underpowered`，`decision_note` 是「欠力」。
|
||||
|
||||
这不是「不上线」的终局，也不是「这套题无效」。样本不够，不能据此改题库、计分或平局裁决。先前「不带年份的题信号弱」「分钟级时间技法信号弱」的结论也不被本轮推翻或改写。
|
||||
|
||||
给产品的一句口径：这轮公开传记里，能严格答成是非、并且够四题的父母静态题只有 6 例，不到事先定的 60 例，所以还不能决定这种题上不上校正。
|
||||
|
||||
## 这轮做了什么
|
||||
|
||||
- 预登记 `docs/research/d12_parent_probes_preregistration_2026_10_12.json` 单独提交在评测之前（`ad89e410`）。评测之后没有改判据、种子、题干或编码手册。
|
||||
- 出生记录只用 `minute_rectification_holdout_v5.json` 里已有的 77 个公开 Rodden AA 案例。没有从外面补出生时间。
|
||||
- 父母事实在 `references/real_case_calibration/parent_facts_v1.json`。每题都有打开过的 https 页面、等级 `encyclopedia`（英文维基百科）和原句。来源表是该文件的 `source_table`。拿不到原句的题记「不清楚」，不编造。
|
||||
- 盘用 `domain_calculation_service.compute_chart`，D12 用 `varga.calc_varga` 的 `classical_local`。没有新写星历。基线是 Raman / mean node。对照是 Lahiri / mean，以及 Raman / true node。星历版本写在结果里：`2.10.03`。
|
||||
- 结果：`docs/research/d12_parent_probes_results_2026_10_12.json`。`PYTHONHASHSEED=0` 下连跑两次，文件 SHA256 都是 `cbf324567ed8ddf14ac4769c4f8fb90f015aeab6711b2022a81b473f81748fe8`。
|
||||
|
||||
## 不清楚率
|
||||
|
||||
分母是结果文件里的 77 条已编码案例（`unclear_rate_coded`）。六位小数用本轮同一个 `display_ratio`，由文件里的计数打出，不是另算的一套率。
|
||||
|
||||
| 题 | 是 | 否 | 不清楚 | 不清楚率 |
|
||||
| --- | ---: | ---: | ---: | --- |
|
||||
| 母亲更多日常照料 | 9 | 1 | 67 | 67/77 = 0.870130 |
|
||||
| 父亲经济主导 | 3 | 2 | 72 | 72/77 = 0.935065 |
|
||||
| 父亲指导学业 | 11 | 1 | 65 | 65/77 = 0.844156 |
|
||||
| 父亲体制内职业 | 24 | 12 | 41 | 41/77 = 0.532468 |
|
||||
| 父亲自己经商 | 14 | 38 | 25 | 25/77 = 0.324675 |
|
||||
| 父母长期分开 | 23 | 1 | 53 | 53/77 = 0.688312 |
|
||||
|
||||
职业两题相对能答。照料、谁养家、谁管学业，多数页面没有对上预登记的句子，所以保持不清楚。不满 4 道是/否的 71 例记在 `excluded_few_decisive`，不插值。`not_coded` 是空的：77 例都进了事实文件。
|
||||
|
||||
计入的 6 例（`included_case_ids`）：`barack_obama_1961_aa_v4_holdout`、`donald_trump_1946_aa_v5_holdout`、`imelda_marcos_1929_aa_v5_holdout`、`kamala_harris_1964_aa_v5_holdout`、`rafael_nadal_1986_aa_v5_holdout`、`sophia_loren_1934_aa_v5_holdout`。
|
||||
|
||||
## 真实一侧选中率
|
||||
|
||||
6 例在 ±10 和 ±30 分钟里都有 D12 上升换段（`no_boundary` 都是 0）。最近分界的两侧分钟在两个窗口里是同一对，所以选中率相同。平局不算选中。
|
||||
|
||||
| 格子 | 选中 | 显示 | 乱序均值 | 高于均值 | 精确 p | 低于真实值的乱序比例 |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| 父 9，±10 | 4/6 | 0.666667 | 0.490157 | 是 | 309/1000 = 0.309000 | 691/999 = 0.691692 |
|
||||
| 父 9，±30 | 4/6 | 0.666667 | 0.490157 | 是 | 309/1000 = 0.309000 | 691/999 = 0.691692 |
|
||||
| 父 10，±10 | 1/6 | 0.166667 | 0.338672 | 否 | 946/1000 = 0.946000 | 54/999 = 0.054054 |
|
||||
| 父 10，±30 | 1/6 | 0.166667 | 0.338672 | 否 | 946/1000 = 0.946000 | 54/999 = 0.054054 |
|
||||
|
||||
四个格子的 `significant` 都是 false。Bonferroni 线是 p < 0.0125 且高于乱序均值。父 9 的 p 是 0.309000，远在线的另一侧。父 10 的真实选中率低于乱序均值。
|
||||
|
||||
同窗全部 D12 段（不是过门项）：
|
||||
|
||||
| 格子 | 头段命中 | 真值段保留 |
|
||||
| --- | --- | --- |
|
||||
| 父 9，±10 | 4/6 = 0.666667 | 4/6 = 0.666667 |
|
||||
| 父 9，±30 | 2/6 = 0.333333 | 4/6 = 0.666667 |
|
||||
| 父 10，±10 | 0/6 = 0.000000 | 2/6 = 0.333333 |
|
||||
| 父 10，±30 | 0/6 = 0.000000 | 1/6 = 0.166667 |
|
||||
|
||||
D1 只作对照，不是门。D1 父 9 在 ±10 和 ±30 的真实一侧选中都是 0/6（显示 0.000000）。记录分钟两侧的 D1 读法没有把真实一侧选出来。
|
||||
|
||||
## 乱序和正对照
|
||||
|
||||
乱序：999 次，种子 20261012，整组答案在计入案例之间对调。上表的 p 和分位就是这 999 次。
|
||||
|
||||
正对照：把真实一侧的是/否埋进答案（弃权改成不清楚），种子 20261013。四个格子的 `pipeline_exact` 都是 true，`missed` 都是空的。两侧读法不同的案例，流程都选中了真实一侧。
|
||||
|
||||
| 格子 | 两侧不同的案例 | 埋入后选中 | p | p < 0.01 |
|
||||
| --- | ---: | --- | --- | --- |
|
||||
| 父 9，±10 与 ±30 | 5 | 5/6 = 0.833333 | 110/1000 = 0.110000 | 否 |
|
||||
| 父 10，±10 与 ±30 | 6 | 6/6 = 1.000000 | 5/1000 = 0.005000 | 是 |
|
||||
|
||||
预登记还要求：不同案例至少 20，并且四个格子的对照 p 都低于 0.01。这里最少只有 5，父 9 的对照 p 是 0.110000。所以对照是欠力，不是「流程测不出」。测不出才会记成结论无效。
|
||||
|
||||
## 岁差和交点
|
||||
|
||||
分母是 6 个有分界的案例 × 两侧分钟 × 6 题 = 72。门是改变比例严格小于 0.2。
|
||||
|
||||
| 格子 | Lahiri 相对 Raman | 真交点相对平均交点 | 两样都低于 0.2 |
|
||||
| --- | --- | --- | --- |
|
||||
| 父 9 | 26/72 = 0.361111 | 1/72 = 0.013889 | 否 |
|
||||
| 父 10 | 30/72 = 0.416667 | 0/72 = 0.000000 | 否 |
|
||||
|
||||
交点几乎不改判读。岁差改判读的比例高于 20% 线。四个格子的 `robust` 都是 false。即便选中率以后在更大样本里显著，这一条岁差结果也不能单独当成过门。
|
||||
|
||||
## 判定
|
||||
|
||||
过门需要：计入至少 60，正对照达到预登记的力度，并且至少一个家族格子既显著又稳健。本轮三条都没有。
|
||||
|
||||
不写实现建议。题干、计分、平局裁决都不接。BUG-1308 保持 open，因为这是欠力，不是做完后的否定结论。
|
||||
|
||||
编码按预登记从紧：只写职业头衔不算养家，也不算父亲亲自管学业；父母一起送学不算；死亡本身不算两地分开；页面没写出主业就保持不清楚。名誉领事这类短任期、页面没有写成主业的，没有记成体制内。这些取舍都在看分数之前定死，看完分数后没有为了凑 60 例而放宽。
|
||||
Reference in New Issue
Block a user