research(rectification): score D12 parent probes, sample underpowered (BUG-1308)
This commit is contained in:
+3
-2
@@ -17577,14 +17577,15 @@
|
||||
|
||||
## BUG-1308 | 父母静态是非题(D12)对出生时间分界两侧有没有区分力未经评测
|
||||
|
||||
- 状态:open(研究单 `docs/tasks/TASK-rectification-d12-parent-probes-research-20261012.md` 待领取)
|
||||
- 状态:open(2026-10-12 研究跑完,判定欠力,不是不上线的终局。计入案例低于预登记的 60,不能据此改题库或计分)
|
||||
- 首次发现 / 最近更新:2026-10-12 / 2026-10-12
|
||||
- 来源:同 BUG-1307 的上游样例:上游用五道父母是非题区分 D12 换段两侧。同一输入上游两次结论相反,下结论的那次靠单条父母事实的事后解读。
|
||||
- 现象:我方无静态父母题;上游 10-02 的 D12 绑定(`bbb16115` 等)针对带日期的父母事件,静态题两边都没有评测。
|
||||
- 决策:先研究,公开案例、预登记、乱序与正对照,过门才立实现单;过门前不进题库、不计分。
|
||||
- 本轮结果:77 个公开案例都编码了。至少 4 道是/否的只有 6 例。结果 `decision=control_underpowered`。四个格子的正对照 `pipeline_exact` 都为真,但两侧不同的案例最少 5,低于预登记的 20;父宫 9 的对照精确 p 是 0.110000,没有四个格子都低于 0.01。真实一侧选中:父 9 为 4/6(p 0.309000),父 10 为 1/6(低于乱序均值)。岁差改变比例 0.361111 与 0.416667,高于 0.2。数字见 `docs/research/rectification_d12_parent_probes_2026_10_12.md` 与同目录结果 JSON。预登记提交在评测之前,评测后未改判据。
|
||||
- 相关记录:BUG-1306、BUG-1307、BUG-1141 / BUG-1240(同类研究均未过门)。
|
||||
- 复发自:无。
|
||||
- 修复版本:不适用(研究)。
|
||||
- 修复版本:不适用(研究未过门,保持 open)。
|
||||
|
||||
## BUG-1309 | 分盘段扫描端点写死 Raman:非 Raman 用户的盘型段与档位按 Raman 算,引擎打分按用户岁差
|
||||
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,88 @@
|
||||
# D12 父母静态是非题:分界两侧有没有区分力(2026-10-12)
|
||||
|
||||
结论:**欠力**。预登记要求至少 60 个可计分案例。本轮打开了 77 个公开页,按锁定的编码规则只有 **6** 例至少有 4 道题答成「是」或「否」。结果文件的 `decision` 是 `control_underpowered`,`decision_note` 是「欠力」。
|
||||
|
||||
这不是「不上线」的终局,也不是「这套题无效」。样本不够,不能据此改题库、计分或平局裁决。先前「不带年份的题信号弱」「分钟级时间技法信号弱」的结论也不被本轮推翻或改写。
|
||||
|
||||
给产品的一句口径:这轮公开传记里,能严格答成是非、并且够四题的父母静态题只有 6 例,不到事先定的 60 例,所以还不能决定这种题上不上校正。
|
||||
|
||||
## 这轮做了什么
|
||||
|
||||
- 预登记 `docs/research/d12_parent_probes_preregistration_2026_10_12.json` 单独提交在评测之前(`ad89e410`)。评测之后没有改判据、种子、题干或编码手册。
|
||||
- 出生记录只用 `minute_rectification_holdout_v5.json` 里已有的 77 个公开 Rodden AA 案例。没有从外面补出生时间。
|
||||
- 父母事实在 `references/real_case_calibration/parent_facts_v1.json`。每题都有打开过的 https 页面、等级 `encyclopedia`(英文维基百科)和原句。来源表是该文件的 `source_table`。拿不到原句的题记「不清楚」,不编造。
|
||||
- 盘用 `domain_calculation_service.compute_chart`,D12 用 `varga.calc_varga` 的 `classical_local`。没有新写星历。基线是 Raman / mean node。对照是 Lahiri / mean,以及 Raman / true node。星历版本写在结果里:`2.10.03`。
|
||||
- 结果:`docs/research/d12_parent_probes_results_2026_10_12.json`。`PYTHONHASHSEED=0` 下连跑两次,文件 SHA256 都是 `cbf324567ed8ddf14ac4769c4f8fb90f015aeab6711b2022a81b473f81748fe8`。
|
||||
|
||||
## 不清楚率
|
||||
|
||||
分母是结果文件里的 77 条已编码案例(`unclear_rate_coded`)。六位小数用本轮同一个 `display_ratio`,由文件里的计数打出,不是另算的一套率。
|
||||
|
||||
| 题 | 是 | 否 | 不清楚 | 不清楚率 |
|
||||
| --- | ---: | ---: | ---: | --- |
|
||||
| 母亲更多日常照料 | 9 | 1 | 67 | 67/77 = 0.870130 |
|
||||
| 父亲经济主导 | 3 | 2 | 72 | 72/77 = 0.935065 |
|
||||
| 父亲指导学业 | 11 | 1 | 65 | 65/77 = 0.844156 |
|
||||
| 父亲体制内职业 | 24 | 12 | 41 | 41/77 = 0.532468 |
|
||||
| 父亲自己经商 | 14 | 38 | 25 | 25/77 = 0.324675 |
|
||||
| 父母长期分开 | 23 | 1 | 53 | 53/77 = 0.688312 |
|
||||
|
||||
职业两题相对能答。照料、谁养家、谁管学业,多数页面没有对上预登记的句子,所以保持不清楚。不满 4 道是/否的 71 例记在 `excluded_few_decisive`,不插值。`not_coded` 是空的:77 例都进了事实文件。
|
||||
|
||||
计入的 6 例(`included_case_ids`):`barack_obama_1961_aa_v4_holdout`、`donald_trump_1946_aa_v5_holdout`、`imelda_marcos_1929_aa_v5_holdout`、`kamala_harris_1964_aa_v5_holdout`、`rafael_nadal_1986_aa_v5_holdout`、`sophia_loren_1934_aa_v5_holdout`。
|
||||
|
||||
## 真实一侧选中率
|
||||
|
||||
6 例在 ±10 和 ±30 分钟里都有 D12 上升换段(`no_boundary` 都是 0)。最近分界的两侧分钟在两个窗口里是同一对,所以选中率相同。平局不算选中。
|
||||
|
||||
| 格子 | 选中 | 显示 | 乱序均值 | 高于均值 | 精确 p | 低于真实值的乱序比例 |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| 父 9,±10 | 4/6 | 0.666667 | 0.490157 | 是 | 309/1000 = 0.309000 | 691/999 = 0.691692 |
|
||||
| 父 9,±30 | 4/6 | 0.666667 | 0.490157 | 是 | 309/1000 = 0.309000 | 691/999 = 0.691692 |
|
||||
| 父 10,±10 | 1/6 | 0.166667 | 0.338672 | 否 | 946/1000 = 0.946000 | 54/999 = 0.054054 |
|
||||
| 父 10,±30 | 1/6 | 0.166667 | 0.338672 | 否 | 946/1000 = 0.946000 | 54/999 = 0.054054 |
|
||||
|
||||
四个格子的 `significant` 都是 false。Bonferroni 线是 p < 0.0125 且高于乱序均值。父 9 的 p 是 0.309000,远在线的另一侧。父 10 的真实选中率低于乱序均值。
|
||||
|
||||
同窗全部 D12 段(不是过门项):
|
||||
|
||||
| 格子 | 头段命中 | 真值段保留 |
|
||||
| --- | --- | --- |
|
||||
| 父 9,±10 | 4/6 = 0.666667 | 4/6 = 0.666667 |
|
||||
| 父 9,±30 | 2/6 = 0.333333 | 4/6 = 0.666667 |
|
||||
| 父 10,±10 | 0/6 = 0.000000 | 2/6 = 0.333333 |
|
||||
| 父 10,±30 | 0/6 = 0.000000 | 1/6 = 0.166667 |
|
||||
|
||||
D1 只作对照,不是门。D1 父 9 在 ±10 和 ±30 的真实一侧选中都是 0/6(显示 0.000000)。记录分钟两侧的 D1 读法没有把真实一侧选出来。
|
||||
|
||||
## 乱序和正对照
|
||||
|
||||
乱序:999 次,种子 20261012,整组答案在计入案例之间对调。上表的 p 和分位就是这 999 次。
|
||||
|
||||
正对照:把真实一侧的是/否埋进答案(弃权改成不清楚),种子 20261013。四个格子的 `pipeline_exact` 都是 true,`missed` 都是空的。两侧读法不同的案例,流程都选中了真实一侧。
|
||||
|
||||
| 格子 | 两侧不同的案例 | 埋入后选中 | p | p < 0.01 |
|
||||
| --- | ---: | --- | --- | --- |
|
||||
| 父 9,±10 与 ±30 | 5 | 5/6 = 0.833333 | 110/1000 = 0.110000 | 否 |
|
||||
| 父 10,±10 与 ±30 | 6 | 6/6 = 1.000000 | 5/1000 = 0.005000 | 是 |
|
||||
|
||||
预登记还要求:不同案例至少 20,并且四个格子的对照 p 都低于 0.01。这里最少只有 5,父 9 的对照 p 是 0.110000。所以对照是欠力,不是「流程测不出」。测不出才会记成结论无效。
|
||||
|
||||
## 岁差和交点
|
||||
|
||||
分母是 6 个有分界的案例 × 两侧分钟 × 6 题 = 72。门是改变比例严格小于 0.2。
|
||||
|
||||
| 格子 | Lahiri 相对 Raman | 真交点相对平均交点 | 两样都低于 0.2 |
|
||||
| --- | --- | --- | --- |
|
||||
| 父 9 | 26/72 = 0.361111 | 1/72 = 0.013889 | 否 |
|
||||
| 父 10 | 30/72 = 0.416667 | 0/72 = 0.000000 | 否 |
|
||||
|
||||
交点几乎不改判读。岁差改判读的比例高于 20% 线。四个格子的 `robust` 都是 false。即便选中率以后在更大样本里显著,这一条岁差结果也不能单独当成过门。
|
||||
|
||||
## 判定
|
||||
|
||||
过门需要:计入至少 60,正对照达到预登记的力度,并且至少一个家族格子既显著又稳健。本轮三条都没有。
|
||||
|
||||
不写实现建议。题干、计分、平局裁决都不接。BUG-1308 保持 open,因为这是欠力,不是做完后的否定结论。
|
||||
|
||||
编码按预登记从紧:只写职业头衔不算养家,也不算父亲亲自管学业;父母一起送学不算;死亡本身不算两地分开;页面没写出主业就保持不清楚。名誉领事这类短任期、页面没有写成主业的,没有记成体制内。这些取舍都在看分数之前定死,看完分数后没有为了凑 60 例而放宽。
|
||||
@@ -0,0 +1,40 @@
|
||||
# 进度:D12 父母静态题研究(BUG-1308)
|
||||
|
||||
结论:**欠力**。77 个公开案例都写了事实,计入 6,低于预登记的 60。`decision=control_underpowered`。不写不上线,不写实现建议,BUG-1308 保持 open。未推送。
|
||||
|
||||
## 范围
|
||||
|
||||
- 工作树:`codex/rectification-d12-parent-probes-research-20261012`,基线 `e6baff95`,无 upstream。
|
||||
- 只新增研究脚本、定向测试、研究文档、父母事实,以及本进度、BUG-1308 和 `docs/tasks/README.md` 的这一行。
|
||||
- 未改生产代码、打分、题库、`decision_policy`、算法身份、`.gitea`。未使用 stash。
|
||||
|
||||
## 预检
|
||||
|
||||
开工跑过 `scripts/pre_work_check.py`。该次因超时退出码 1(片段扫描与聚焦测试的时限),远端与适配器在同一次输出里没有失败。本进度不把预检写成通过。盘计算入口是现成的 `compute_chart` + `calc_varga`,没有新写星历,也没有改 `BLOCKED.md`。
|
||||
|
||||
## 预登记和数据
|
||||
|
||||
- 预登记单独提交:`ad89e410`(`research(rectification): preregister D12 parent probes (BUG-1308)`)。文件 SHA256 在结果里是 `dde1c584c58014f3e1a9ba30b6ee5c728746a3688dbb3556d6ec1a12e9bfac3e`。
|
||||
- 评测之后没有改判据。
|
||||
- 事实文件 SHA256:`1746b70102a025c412089e28ae7d250164587d02cd9d2cb0e86ee037bddca131`。
|
||||
- 来源都是本轮打开的英文维基百科,等级 encyclopedia。不清楚率见研究报告的表,计数来自结果 JSON 的 `unclear_rate_coded`。
|
||||
|
||||
## 评测
|
||||
|
||||
- Python:`C:\Users\74082\anaconda3\python.exe`(3.11.7)。仓库无 `.venv`。`PYTHONHASHSEED=0`。
|
||||
- 星历:Swiss Ephemeris `2.10.03`。
|
||||
- 结果两次运行 SHA256 相同:`cbf324567ed8ddf14ac4769c4f8fb90f015aeab6711b2022a81b473f81748fe8`。
|
||||
- 真实一侧:父 9 为 4/6(p 0.309000),父 10 为 1/6(p 0.946000,低于乱序均值)。±10 与 ±30 的最近分界是同一对分钟。
|
||||
- 正对照:四格 `pipeline_exact=true`。父 9 两侧不同 5 例,p 0.110000;父 10 两侧不同 6 例,p 0.005000。未达到「至少 20 且四格 p<0.01」。
|
||||
- 稳健性:岁差改变 26/72 与 30/72;交点改变 1/72 与 0/72。岁差不低于 0.2,`robust=false`。
|
||||
|
||||
## 测试
|
||||
|
||||
- `tests/test_d12_parent_probes.py`:15 项通过,退出码 0。
|
||||
- `tests/test_repo_privacy_markers.py`:退出码 0(在暂存之后跑,能扫到本轮新文件)。
|
||||
- `scripts/run_quality_gate.py --profile quick`:Python 段通过,其中 pytest 一步 1310.3 秒打勾。随后 `npm test` 退出码 1,因为这个工作树没有 `frontend/node_modules/tsx`。没有把依赖装进仓库。门禁停在这一步,lint 和 build 没有往下跑。这是环境缺口,不是本轮研究脚本的失败。
|
||||
|
||||
## 未做
|
||||
|
||||
- 不推送,不升 `main`,不改 workflow。
|
||||
- 不放宽编码去凑 60 例。要做下一轮,必须新的预登记,并保留本轮结果。
|
||||
@@ -126,7 +126,7 @@
|
||||
| `TASK-rectification-session-composer-guard-20260917.md` | `PROGRESS-rectification-session-composer-guard-20260917.md` | 校正会话激活但校正面未开(刷新揭幕超时 / 打开失败不重试 / 删除与 popstate 回退落到列表第一条)时露出可用的普通输入框,问题发到 `/api/consult` 回 404「咨询会话不存在」;`send()` 无会话类型守卫;服务端无独立错误码。关联 BUG-505。BUG 段 924 起 | 已验收 | `6d81062b`(Claude 验收:T1–T5 全通过;409 `session_not_consultation` 在扣点前、不扣点;回退路径多修了归档一条;page.tsx 1830→1830。残留 P3:列表只剩校正会话时 `activeSession` 为空,输入框可用但发送静默无效 → BUG-935 在 fix 单);真机三条欠 |
|
||||
| `TASK-rectification-explicit-entry-20261012.md` | `PROGRESS-rectification-explicit-entry-20261012.md` | **明说要校正就直接进入(BUG-1306)**:模型判断意图(禁正则),服务端判定后直接开案并绑定来源对话;首轮排盘合同对此轮豁免;拒绝必须一句话说明(推翻 BUG-1248 静默两条);普通对话不得假装校正、申报时段不写子运起止。**先做** | 待验收 | — |
|
||||
| `TASK-rectification-nearest-boundary-opening-20261012.md` | `PROGRESS-rectification-nearest-boundary-opening-20261012.md` | **最近分界开场(BUG-1307)**:开场说记录时间离最近换段多近、两侧哪些事不同。F1 段扫描按用户岁差(BUG-1309)、F2 本命上升换段要先说「这里连本命上升都换」,都在本分支,待验收。选题开关默认关(77 例未跑)。不改打分 / 闸门 / 4 件 3 域。未改 page.tsx | 待验收 | 分支 `codex/rectification-nearest-boundary-opening-20261012`,未推送 |
|
||||
| `TASK-rectification-d12-parent-probes-research-20261012.md` | — | **父母静态是非题(D12)研究(BUG-1308)**:公开案例 ≥60、预登记、乱序与正对照,过门才立实现单;纯研究可并行 | 待领取 | — |
|
||||
| `TASK-rectification-d12-parent-probes-research-20261012.md` | `PROGRESS-rectification-d12-parent-probes-research-20261012.md` | **父母静态是非题(D12)研究(BUG-1308)**:公开案例 ≥60、预登记、乱序与正对照,过门才立实现单;纯研究可并行 | 欠力,BUG-1308 仍 open | `docs/research/rectification_d12_parent_probes_2026_10_12.md` |
|
||||
| `TASK-rectification-1012-batch-fix-20261012.md` | `PROGRESS-rectification-nearest-boundary-opening-20261012.md` | **10-12 三单验收修复**:F1 开场与段汇总按用户岁差(BUG-1307 / BUG-1309)、F2 本命上升换段开场句,在分支 `codex/rectification-nearest-boundary-opening-20261012`,待验收。F3 打开失败卡片仍说已开始(BUG-1306)未做。F4 研究报告补编码问题与暂停结论(BUG-1308)未做 | F1/F2 待验收 | 本分支,未推送 |
|
||||
|
||||
### 聊天主链路与首页
|
||||
|
||||
Reference in New Issue
Block a user