docs(rectification): audit two holdout dates and open the v4 intake
Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
@@ -1030,3 +1030,11 @@
|
||||
- 真实状态来自 `minute_rectification_holdout_v3.json` 与 `minute_rectification_holdout_v3_report.json`(evaluated_on 2026-07-21):20 个公开 AA 案例已存在;source audit 失败(`invalidated_after_replay`);`top_1_rate=0.15`、`top_3_rate=0.25`、`mean_absolute_minute_error=6.95` 均未过门;`confirmation_coverage_rate=0.0`。
|
||||
- 合同六键已改为 v3 数字,`status` 仍为 `not_ready`。确认门保持关闭:案例数已满,但 status 非 ready 且 confirmation_coverage_rate 为 0。
|
||||
- 防复发:holdout 集一旦回放,必须把真实 status / 案例数 / 指标写回 `rectification_sealed_holdout.v1.json`;不得把合同留在上一版的计数上。
|
||||
|
||||
## 2026-08-29 - C2: 两例日期审计 + v4 intake + 诊断回放(非盲测)
|
||||
|
||||
- `robbins_marriage_1968`:submitted `1968`(year);verified `1967-03-10`(day)。原 URL `https://www.johnrobbins.info/about/` 无结婚日期,已替换为 `https://en.wikipedia.org/wiki/John_Robbins_(author)`。v3 盲测 working `date` 仍保留 submitted `1968`。
|
||||
- `takamoto_joined_disney_1947`:submitted `1947`(year);verified `1945`(year)。原 URL `https://en.wikipedia.org/wiki/Iwao_Takamoto` 已写明 1945 入职 Disney,URL 保留。v3 盲测 working `date` 仍保留 submitted `1947`。未把 year-precision 编造成 day。
|
||||
- v3 `source_audit_status` 仍为 `invalidated_after_replay`。未改已发布的 `minute_rectification_holdout_v3_report.json` 数字。
|
||||
- v4 intake `day_precision_events_per_case=3` 未放宽:20 例中仅 4 例入列(`barack_obama_1961_aa_v4_holdout`、`paul_ryan_1970_aa_v4_holdout`、`sean_lennon_1975_aa_v4_holdout`、`kurt_cobain_1967_aa_v4_holdout`)。其余 16 例在补齐 review safeguards 后仍为 `insufficient_day_precision_events`;Robbins/Takamoto 校正后仍不够 3 个 day 事件。intake 保持 `production_tuning_allowed=false`、`verified_minute_claim_allowed=false`。
|
||||
- 诊断回放文件:`minute_rectification_holdout_v3_post_audit_diagnostic.json` / `_report.json`。这是 post-audit diagnostic rerun,不是盲测,不可声称 release gate 通过,不可用于调参。官方 eval runner 因当前树 scoring 文件哈希已偏离 2026-07-21 v3 freeze 而 `implementation_hash_matches=false`、trial_count=0;本任务未改 `frozen_scoring.files`。确认门仍关闭。
|
||||
|
||||
Reference in New Issue
Block a user