Preserve closed confirmation gates and previously-exposed dataset boundaries. Add auditable 900-trial sensitivity results, current scorer freshness checks, and the v5 collection protocol. Co-Authored-By: Claude Code <noreply@anthropic.com>
18 KiB
封存集 v5 采集协议(2026-09-20)
状态:协议已拟定,未采集事件、未建成数据集、未评分、未完成独立人工审阅。本文件只交付 T3,不等于 BUG-980 已解决。 任务:TASK-rectification-validation-integrity-20260920。关联 BUG-098 / BUG-428 / BUG-980。 本文所有样本量、事件数、半径与工时均为协议目标或估算,不是模型成绩;本轮不产生评分实现哈希或准确率。未来评分必须附完整实现哈希、数据集哈希、ayanamsa、node mode、半径、步长和试验登记号。
1. 要证明什么,以及明确不证明什么
v5 的目标是同时满足 封存 + 每例至少 7 件带年月事件 + 至少 4 个领域:事件密度对齐 v4,隔离纪律至少达到 v3 设计目标,并修补“程序不读真值”不等于“人未看过成绩”的缺口。拟获得至少 25 个合格人物;下列 26 人只是备选池,不保证其事件覆盖已达标,不足时须在评分前按同一标准扩池。
在 v5 就绪之前,任何对外的分钟级准确率说法都没有依据。 v5 就绪也仅是允许开始验证,不是默认验证成功;还必须完成预注册评测、独立审阅与发布决策。
- T2 的数字是 v3 每例仅 3 件事的低事件量口径,不是对真实会话准确率的保证,更不是数学意义上的性能下界。重新冻结当前实现可以恢复“成绩归属于哪个实现”的可追溯性,不能消除旧人物、旧事件或旧成绩的曝光。
- T1 的数字是“申报偏差为 X 时会怎样”的敏感性,不是实际用户准确率;未知真实用户的申报偏差分布时,不得把各偏移档等权平均后宣传为产品表现。
- 真值藏在排名之后只证明程序的标签隔离;独立盲测还要求未用其人物/事件/结果调参。BUG-428 已规定:结果已被看过的案例不得再计入盲测,自动化迁移的审阅记录也不等于新的传记级人审。
- Rodden-AA 表示出生来源等级,不保证记录无舍入、无转录差错,更不保证真实出生瞬间精确到某分钟。评测标签称为“有来源的记录时间”,不能抹平记录误差。
- 本协议不改打分、阈值、产品行为或确认门。
accepted不等于confirmed;即使未来达到指标,确认门是否开放仍须产品另行授权。
2. 候选池与来源筛查
2.1 本次核对的边界
2026-09-20 通过公开网络搜索,逐人核对 Astro-Databank 或其同站生日索引返回的 Rodden Rating = AA 与出生资料来源类别。本机对部分原文页直接读取返回校验页,因此以下状态仅为可追溯的候选筛查,不是出生证原件已取得、源页已归档或独立人工审阅已完成。正式入集前必须重新打开逐人原文、复核 Source Notes 并登记页面修订号/检索时间;若无法核实或等级降级,按资料不合格替换,不得把搜索摘要升级为完成证据。
只列人物和资料来源类型,不采集、复制或展示出生分钟、坐标和生平事件内容。BC/BR in hand / Quoted BC/BR 是来源网站的标签,不是声称本项目持有原件。事件来源目前只是允许的来源类型,尚未检索或标注。
| # | 公开人物 | AA 来源页与出生资料类型(候选筛查) | 后续事件来源类型(待采集) |
|---|---|---|---|
| 1 | Albert Einstein | Astro-Databank;BC/BR in hand | 诺贝尔官方、大学档案、公开传记 |
| 2 | Marie Curie | Astro-Databank;Quoted BC/BR,Source Notes 指向洗礼记录 | 诺贝尔官方、研究机构档案、公开传记 |
| 3 | Emmanuel Macron | Astro-Databank;Quoted BC/BR | 政府公开档案、可靠新闻、公开传记 |
| 4 | Marilyn Monroe | Astro-Databank;BC/BR in hand | 电影机构档案、可靠新闻、公开传记 |
| 5 | Emma Watson | Astro-Databank;Quoted BC/BR | 联合国公开档案、院校/电影机构记录、公开传记 |
| 6 | George Clooney | Astro.com 同站 AA 索引;BC/BR in hand | 电影学院/电影节官方、可靠新闻、公开传记 |
| 7 | Tom Hanks | Astro-Databank;BC/BR in hand | 电影学院官方、可靠新闻、公开传记 |
| 8 | Meryl Streep | Astro.com 同站 AA 索引;BC/BR in hand | 电影学院官方、院校档案、公开传记 |
| 9 | Johnny Depp | Astro-Databank;BC/BR in hand | 电影机构档案、可核实公开记录、可靠新闻 |
| 10 | Leonardo DiCaprio | Astro-Databank;BC/BR in hand | 电影学院官方、联合国公开档案、公开传记 |
| 11 | Albert Camus | Astro-Databank;Quoted BC/BR | 诺贝尔官方、出版档案、公开传记 |
| 12 | Jean-Paul Sartre | Astro-Databank;BC/BR in hand | 诺贝尔官方、院校/出版档案、公开传记 |
| 13 | Simone de Beauvoir | Astro-Databank;BC/BR in hand | 文学奖/出版档案、院校档案、公开传记 |
| 14 | Victor Hugo | Astro-Databank;BC/BR in hand | 国家图书馆/议会档案、公开传记 |
| 15 | Marcel Proust | Astro-Databank;BC/BR in hand | 文学奖/出版档案、公开传记 |
| 16 | Marion Cotillard | Astro-Databank;Quoted BC/BR | 电影学院/电影节官方、可靠新闻、公开传记 |
| 17 | Juliette Binoche | Astro-Databank;Quoted BC/BR | 电影学院/电影节官方、可靠新闻、公开传记 |
| 18 | Catherine Deneuve | Astro-Databank;Quoted BC/BR | 电影机构档案、可靠新闻、公开传记 |
| 19 | Alain Delon | Astro-Databank;Quoted BC/BR | 电影机构档案、可靠新闻、公开传记 |
| 20 | Sophie Marceau | Astro-Databank;Quoted BC/BR | 电影机构档案、可靠新闻、公开传记 |
| 21 | Jean Dujardin | Astro-Databank;BC/BR in hand | 电影学院/电影节官方、可靠新闻、公开传记 |
| 22 | Zinedine Zidane | Astro-Databank;BC/BR in hand | FIFA/俱乐部官方、可靠新闻、公开传记 |
| 23 | Kylian Mbappé | Astro-Databank;Quoted BC/BR | FIFA/俱乐部官方、可靠新闻、公开传记 |
| 24 | Antoine Griezmann | Astro-Databank;Quoted BC/BR | FIFA/俱乐部官方、可靠新闻、公开传记 |
| 25 | Serena Williams | Astro.com 同站 AA 索引;Quoted BC/BR | WTA/赛事官方、可靠新闻、公开传记 |
| 26 | Muhammad Ali | Astro-Databank;BC/BR in hand | 体育机构档案、可靠新闻、公开传记 |
来源类别释义:Rodden Rating、Data Source。备选筛查中非 AA、无法明确核实 AA 的人物不进入此表;不能用关联人物条目的 AA 为目标人物背书。
2.2 与既有材料去重
基线 5049e784 中 v3 / v4 的人物集合相同,均为以下 20 人:Barack Obama、Angelina Jolie、Tiger Woods、Elizabeth Taylor、Elizabeth Montgomery、Pablo Picasso、Sigmund Freud、Salma Hayek、Steve Reich、Albert Brooks、Paul Ryan、Tom Kennedy、Andrew Windsor、Sean Lennon、Joseph Kennedy III、Kurt Cobain、John Robbins、Chad Everett、Bernd Eichinger、Iwao Takamoto。
本表 26 名候选与上述集合的人物交集为 0;不是只比较文件行号或 case_id。正式采集还须按姓名别名、出生来源页归一化身份,与仓库内其他已评分语料、v4 intake、已公开研究报告继续比对:与 v3/v4 不重叠只是必要条件,不是无曝光证明。姓名公开也不代表其事件内容可以用于调参。
此备选池存在明显的地区、职业、公共传记可得性偏倚。不能为凑四个领域把多次职业获奖改标成财富、迁居或家庭事件;不能把静态家庭属性塞进事件打分。每人未达到门槛时记为筛查未通过,评分前依协议扩池;不得看成绩后换人。
3. 标注协议:沿用 v4 四条,补上真正的封存
沿用 holdout_v4_build_2026_09_14.md 的四条约束,但不继承 v4 的公开评价属性或人物:
- AA 记录:出生数据只取已复核的公开 Astro-Databank AA 记录及 Source Notes。这里的“沿用”指原样保留来源内容和精度,不是从旧集拷贝人物。来源存在冲突、舍入或日期/时区解释问题时必须留标记;无法裁决不得强选有利于打分的一项。
- 独立事件来源:每人至少 7 件可核实到年月的事件、覆盖至少 4 个现有可评分领域;事件来源可为 Wikipedia、Britannica、诺贝尔/电影学院/体育机构官方、政府/大学档案等。每件至少一处可核实公开来源,且
independent_of_birth_source=true只能在事件来源实际独立于出生源后置真,不能只看 URL 不同。占星网站转述和依赖出生源的循环引用不算独立事件证据。 - 工作日期必须核实:工作日期用经核实的公历,精度忠实于来源。只有年份的事件不能虚填月份来凑本协议的年月门槛;冲突必须由独立复核者裁决并记录,不沿用已被否定的错年。保存最小必要的出处、检索时间、精度、领域、审阅记录,遵守转载许可,不能大段复制受版权保护原文。
- 三档半径写在数据集上:保留对照档 ±10 / ±30 / ±60,不以成绩决定跑哪些档;不把“真值所在簇”预写入可评分输入。正式采集任务还须在揭晓前冻结产品申报中心档 ±15 / ±30 / ±60 / ±120、偏移列表及跨午夜规则,作为独立的申报偏差敏感性附表,不混进真值居中成绩。
- 封存:v5 建成后,在产出第一份成绩之前不得被任何人读取事件内容做调参;第一份成绩之后同样不得用 v5 调参。采集者/审核者因工作需要可读取来源,但不能参与基于该材料的打分选择;评分/调参团队只能看到协议、接口形状与另立的开发集。任何越界曝光必须登记,相关人物降为开放诊断材料,不能继续充当未见盲测。
4. 角色隔离、封存物与一次揭晓
| 阶段 | 执行角色与可见内容 | 必须保留的证据 |
|---|---|---|
| 名单筛查 | 数据采集角色;仅来源资格与既有曝光比对 | 候选/排除清单、资料理由;不得用评分优劣筛选 |
| 事件标注 | 数据采集角色;出生来源与公开事件 | 每件来源、精度、领域、原始/裁决日期关联;不运行评分 |
| 独立人审 | 不参与调参的另一名人工审阅者 | 真实 fresh_biography_audit 记录;自动化不可自置 independent_human_reviewed=true |
| 冻结 | 评测保管角色 | 固定成员清单、持久分区、数据/事件/标签 SHA-256、来源审阅清单、冻结时间;访问权限与曝光日志 |
| 评分冻结 | 评分负责人;仅开发集与协议 | 精确 commit、实现文件清单/逐文件及聚合哈希、参数、依赖/引擎版本、并列规则、指标计算和拒绝定义 |
| 单次完整运行 | 隔离评测运行器 | ranker 输入中无真值标签;所有候选完成排名并持久化结果后才能关联标签;运行日志、退出码与输出哈希 |
| 揭晓与审阅 | 评测保管角色 + 独立审核者 | 首次全量报告、全部失败/无效项、阈值对照、执行环境与重试台账;不得只展示最佳档 |
建议将未揭晓事件/标签包保存在独立受控存储,不提交到评分开发者可随手读取的工作树;仓库先只保存协议、匿名 manifest 与哈希。谁能读事件、谁能改评分必须分别登记。名单已公开、预训练语料可能包含名人生平等剩余污染风险必须写进报告,不能把访问隔离说成绝对无污染。
- 原始标签与候选排名分离;不得在并列时按接近真值挑选。沿用已冻结的
_opaque_winner式不依赖真值的哈希打破规则。 - 引擎口径拟固定
ayanamsa=raman、node_mode=mean;精确分钟排名使用 1 分钟候选步长。若需要与旧 2 分钟研究比较,另列预注册附表,不能合并分母或借用旧成绩。 - 同一人全部事件只属于一个固定分区,不能通过换 case_id、加事件、修改旧标注来洗成新盲测。
- 在首次运行前原样登记五项发布阈值和计算定义(top-1、top-3、MAE、误确认率、信息不足正确拒绝率),同时报告区间覆盖、确认覆盖率、真值在候选集中的比例与分母。信息不足子集及拒绝对照必须在揭晓前指定,不能从失败案例反向挑选。
validator不通过的人物在评分前排除且列明理由。运行错误不应静默剔除;若是基础设施失败,保留原失败记录并只允许同一冻结实现/数据重跑。若源数据揭晓后发现错误,旧报告标无效/受影响,不删除历史,更不得把修订后的已见案例重新标成从未曝光。- BUG-098 要求的稳定分区与校准证据在此具体化为冻结 manifest、访问/曝光日志和独立验收;尚未有这些产物时,不得声称 v5 已建成。现存人审校验规则不能代替这些实际产物。
5. 工作量估算与完成门
以下是人工工时估算,不是已经投入的工时。按最终 25 人、每人至少 7 件事件,即至少 175 件、每件至少一处可核实公开来源计算;网络读取、资料不足与来源冲突可能使工作量上浮。
| 工作 | 估算依据 | 人工小时 |
|---|---|---|
| AA 原文复核、别名/历史曝光核对及补候选 | 25 人及少量替补的筛查 | 12–24 |
| 事件检索与首轮标注 | 175 件 × 15–30 分钟 | 44–88 |
| 独立复核与日期/领域冲突裁决 | 175 件 × 约 7.5–15 分钟 | 22–44 |
| 封存、权限分离、manifest、试运行接口校验和交接 | 不接触评分结果的工程与审阅 | 8–16 |
| 合计 | 取整;是人时,不是单人日历工期 | 约 86–172 |
该区间不含新算法开发、不含真实用户招募,也不保证首次备选池全部有四领域资料。资料不足时应扩池或延期,而不是放松独立来源、年月精度、领域或封存标准。正式采集任务须先指定两位独立人工角色及存储访问方案;无人审资源就保持 blocked。
完成门(必须全部有证据):
- 足量新人物通过 AA 原文、身份去重与历史曝光审计。
- 每例事件数/年月精度/领域数达标,逐件独立来源核实,无拼造精度或强改领域。
- 双人采集/复核职责真实独立,来源纠错保留前后关联。
- 封存 manifest、持久分区、内容哈希和访问日志齐备;评分团队未读事件调参。
- 打分实现、参数、半径/偏移、步长、并列规则和五项指标定义在揭晓前固定。
- 首次全量运行与独立结果审阅完成,失败与限制不删;不自动打开确认门。
6. 遗留与对外边界
- 真实用户申报偏差分布仍缺失:需要知情授权、受控账号及独立出生记录的真实用户样本。用户采用候选、满意或认为“说得准”不能当真值;模拟名人偏移也不能替代该分布。后续另立隐私、抽样与标注任务,只发布聚合统计。
- 本轮未取得事件材料与人审资源:本文件只有公开候选来源筛查。AA 原文归档、四领域/年月事件可得性、独立审阅与评分冻结都是未来采集任务的开工/交付条件,不在此冒写已完成。
- 来源网络限制:原文直读返回校验页时,采用公开检索作备选资格线索;不绕过访问控制,不将线索当最终出生源审计。正式采集无法复核就阻塞该人物,不降级纳入。
- 数据集外推限制:公开名人的资料密度、年龄、地区与事件报道方式不同于真实会话。即使 v5 通过,也只证明登记条件下的结果,不能推广到所有用户、更不能承诺唯一出生分钟。
- 本轮不再研究“加权重就能分开候选”或“簇合并导致整窗”这两条已被证伪的方向;见 两轮结论页 §6。始终先核口径,再看真值覆盖,不能以收窄区间换取挤出真值。
Sources
- 人物资格线索:§2 表内 26 个 Astro-Databank / Astro.com 原站链接(检索日期 2026-09-20;最终原文/人审复核尚未完成)。
- 来源分级:Astro-Databank Rodden Rating、Data Source。
- 仓库协议依据:v4 构建协议、两轮研究结论、BUG-098 / BUG-428。