docs(rectification): bind sealed holdout metrics to the frozen scorer identity
The published six keys stay on the 2026-07-21 freeze. Current-tree sidecar numbers remain diagnostic and unlabeled as release metrics. Remove the unused v2 PILOT_REPORT_PATH. Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
@@ -6477,6 +6477,22 @@
|
||||
- 复发自:无
|
||||
- 修复版本:待发布
|
||||
|
||||
## BUG-427 | 密封 holdout 合同把冻结 scorer 的成绩读成当前引擎成绩
|
||||
|
||||
- 状态:resolved
|
||||
- 首次发现:2026-08-29
|
||||
- 最近更新:2026-08-29
|
||||
- 影响面:`references/rectification_sealed_holdout.v1.json`、确认门 holdout 合同
|
||||
- 用户现象:合同已回写 v3 的 `top_1_rate=0.15`,但当前树 sidecar 诊断是 0.45。读者会把冻结 scorer 的成绩当成当前引擎发布指标。
|
||||
- 触发条件:读密封 holdout 合同、对照当前树 `implementation_sha256`,或把 sidecar 非盲诊断数字当成发布门槛。
|
||||
- 根因:合同只写了指标数字,没有绑定产生这些数字的 `implementation_sha256`,也没有标明当前树是否仍匹配、更新的非盲诊断在哪。
|
||||
- 修复:补充 `metrics_produced_by` / `current_tree_scorer` / `current_tree_unfrozen_diagnostic`。六个既有键的键名、类型、数值不动。sidecar 0.45 只记在带限定条件的诊断对象里。删除未引用的 v2 `PILOT_REPORT_PATH`。确认门保持关闭。
|
||||
- 验证:`holdout_passed()` 为 False;`test_rectification_confirmation_and` 与 `rectification-confirmation-gate` 锁定身份哈希来自报告文件、sidecar 不得写入六个键、门仍关闭。
|
||||
- 防复发:评测指标必须与产生它的 `implementation_sha256` 绑定记录。当前树哈希漂移时不得把合同数字读成当前引擎成绩。不得把非盲、结果已被看过、scorer 未冻结、source audit 未过的 sidecar 数字写入发布六键。
|
||||
- 相关记录:无
|
||||
- 复发自:无
|
||||
- 修复版本:待发布
|
||||
|
||||
## BUG-410 | 训练已齐仍因家人/职业方法层停在采集,Agent 只确认后截断
|
||||
|
||||
- 状态:resolved
|
||||
|
||||
Reference in New Issue
Block a user