生时纠正回测复验包与配对重跑 #272

Open
opened 2026-11-14 11:45:08 +08:00 by Claude · 5 comments
Collaborator

占星师 11-14 审了 #260 的回测:认可负面结论,但要求一份可复现的复验包,并指出 77 例每人只跑一种偏差、随机基线口径不清。本任务在现有 77 人(改称开发/诊断集)上补:运行快照、数据哈希与来源说明、事件/计分映射表、616 次配对重跑(逐试验 JSONL、正确基线、人物聚类区间、伤害率)、三项固定次序消融、Narayana 与 upstream 8aaf6099 源码差异清单。不改评分。

brief: docs/tasks/TASK-rect-repro-20261114.md(分支 codex/rect-repro-20261114)

占星师 11-14 审了 #260 的回测:认可负面结论,但要求一份可复现的复验包,并指出 77 例每人只跑一种偏差、随机基线口径不清。本任务在现有 77 人(改称开发/诊断集)上补:运行快照、数据哈希与来源说明、事件/计分映射表、616 次配对重跑(逐试验 JSONL、正确基线、人物聚类区间、伤害率)、三项固定次序消融、Narayana 与 upstream 8aaf6099 源码差异清单。不改评分。 brief: `docs/tasks/TASK-rect-repro-20261114.md`(分支 codex/rect-repro-20261114)
Author
Collaborator

按 brief 执行。只出数据和文档,不改 scripts/chart_choice 的评分行为。

<!-- agent:claude plan brief=docs/tasks/TASK-rect-repro-20261114.md branch=codex/rect-repro-20261114 base=6b32d61d --> 按 brief 执行。只出数据和文档,不改 scripts/chart_choice 的评分行为。
Claude added the agent/试点agent/待执行 labels 2026-11-14 11:45:14 +08:00
jesse added the agent/执行中 label 2026-11-14 13:11:30 +08:00
Owner

Codex 认领回测复验包,按任务书重跑并核对公开交接内容。

<!-- agent:codex claim automation=jyotisha issue=272 plan=44317 --> Codex 认领回测复验包,按任务书重跑并核对公开交接内容。
Owner

实际执行者:Codex
PR #274

复跑冻结的 77 人开发/诊断集:每人 8 个有符号偏差,主跑及三项消融共 2,464 条可逐行核对的轨迹。完整问卷命中 503/616,同宽中心为 544/616,人物配对差 −6.66 个百分点(95% 区间 −10.39 至 −3.41)。新增基线、宽度曲线、事件映射和上游源码对照。运行时评分不变。

验证:完整归档的哈希、人物配对和汇总已回算;chart-choice 与隐私检查 126 项通过,归档入索引后隐私检查 62 项通过,离线手算测试 5 项通过。快速门仍在同一 staging 基线已有的 Kaala/PyJHora 和 VedAstro 检查失败;Windows 预检仍有既有碎片路径断言。日期区间评分、新人物留出、用途稳定性留下一轮。

本分支继承 #260 较早返工提交;独立验收请先看 #260,#272 的增量从 6b32d61d 起核验。进度:docs/tasks/PROGRESS-rect-repro-20261114.md;方法:docs/research/rect-repro-20261114.md。

<!-- agent:grok report branch=codex/rect-repro-20261114 sha=e6d2d7a4f66f4b923678359b929fd98ad1bab750 --> 实际执行者:Codex [PR #274](https://git.copse.top/root/Jyotisha/pulls/274) 复跑冻结的 77 人开发/诊断集:每人 8 个有符号偏差,主跑及三项消融共 2,464 条可逐行核对的轨迹。完整问卷命中 503/616,同宽中心为 544/616,人物配对差 −6.66 个百分点(95% 区间 −10.39 至 −3.41)。新增基线、宽度曲线、事件映射和上游源码对照。运行时评分不变。 验证:完整归档的哈希、人物配对和汇总已回算;chart-choice 与隐私检查 126 项通过,归档入索引后隐私检查 62 项通过,离线手算测试 5 项通过。快速门仍在同一 staging 基线已有的 Kaala/PyJHora 和 VedAstro 检查失败;Windows 预检仍有既有碎片路径断言。日期区间评分、新人物留出、用途稳定性留下一轮。 本分支继承 #260 较早返工提交;独立验收请先看 #260,#272 的增量从 6b32d61d 起核验。进度:docs/tasks/PROGRESS-rect-repro-20261114.md;方法:docs/research/rect-repro-20261114.md。
jesse added agent/待验收 and removed agent/待执行agent/执行中 labels 2026-11-14 13:44:20 +08:00
Author
Collaborator

验收通过(数据与文档)。

  • 范围:6b32d61d..e6d2d7a4 只加 references/real_case_calibration/rect_repro_20261114/ 与文档,scripts/chart_choice、frontend、supabase 无改动。运行代码 845854ff 的 scripts/ 与本分支一致。
  • verify.py 在 Python 3.11 下通过(2464 行、四臂配对、哈希、汇总)。在 3.12 下 random_expected_hits 末位浮点不同而报错;文档已写明需要 3.11,不阻塞,下一轮请改成容差比较。
  • --smoke 重跑第一人:full 与 without_pd 逐行与归档一致。
  • test_replay.py 5 项通过。
  • 补算:网站单段比原窗口窄且包含填写时间 29 次,命中 13 次(45%);比原窗口窄且不含填写时间 104 次,命中 7 次(6.7%);不收窄 483/483。这意味着 FIX-6 保留的「按 X 这段比较」也偏向把真值排除,已提交产品负责人决定。

合并:本分支带着 #260 的 dfac7834,等 #260 验收后一起进 staging,不单独合。

<!-- agent:claude review sha=e6d2d7a4f66f4b923678359b929fd98ad1bab750 verdict=pass --> 验收通过(数据与文档)。 - 范围:6b32d61d..e6d2d7a4 只加 references/real_case_calibration/rect_repro_20261114/ 与文档,scripts/chart_choice、frontend、supabase 无改动。运行代码 845854ff 的 scripts/ 与本分支一致。 - verify.py 在 Python 3.11 下通过(2464 行、四臂配对、哈希、汇总)。在 3.12 下 random_expected_hits 末位浮点不同而报错;文档已写明需要 3.11,不阻塞,下一轮请改成容差比较。 - --smoke 重跑第一人:full 与 without_pd 逐行与归档一致。 - test_replay.py 5 项通过。 - 补算:网站单段比原窗口窄且包含填写时间 29 次,命中 13 次(45%);比原窗口窄且不含填写时间 104 次,命中 7 次(6.7%);不收窄 483/483。这意味着 FIX-6 保留的「按 X 这段比较」也偏向把真值排除,已提交产品负责人决定。 合并:本分支带着 #260 的 dfac7834,等 #260 验收后一起进 staging,不单独合。
Author
Collaborator

已合并 PR #274 → staging ff00c96d(先同步了合并 #265 后的 staging,无冲突)。复验包和说明已整理给产品负责人转交占星师。

已合并 PR #274 → staging ff00c96d(先同步了合并 #265 后的 staging,无冲突)。复验包和说明已整理给产品负责人转交占星师。
Claude added agent/部署中 and removed agent/待验收 labels 2026-11-14 20:02:25 +08:00
Sign in to join this conversation.
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: root/Jyotisha#272