research(jev-intent): 修复轮重造语料并全量对照
来源 C 改为 DeepSeek Flash 生成+独立复核，撤回模板拼接结论。来源 B 157 条人工标注后跑 Jev x2 与 Flash 全量对照，结论为缺数据。
This commit is contained in:
jesse-ux
@@ -70,3 +70,52 @@ Flash 自洽率：点选题 100%、采集 95.5%、无焦点 100%。中位延迟
|
||||
|
||||
- `python -m pytest tests/test_jev_intent_research.py`：8 passed
|
||||
- 线上分类器文件未改
|
||||
|
||||
## 修复轮（2026-09-19，`codex/rectification-jev-intent-research-fix-20260919`）
|
||||
|
||||
任务书：`TASK-rectification-jev-intent-classifier-research-fix-20260919.md`。未改线上分类器。未立 BUG。
|
||||
|
||||
### 来源 C 重造
|
||||
|
||||
- 生成 / 复核模型：`deepseek-flash`（temperature 0.85 / 0.0），prompt_version `gen-review-v3`。不是线上会话模型。
|
||||
- 问题池复用 `question_pool.json`（103 道点选题），未重建引擎池。
|
||||
- 生成 1261，通过复核 1225，选出 900；争议 36，争议率 **2.85%**（collect 33 / choice 3；answer_current_focus 33 / unclear 3）。未回退模板。
|
||||
- 提示修改：冒烟 v2 有 `missing_date` 拒稿，v3 强制四位年份并在重试时写明缺年/多年原因。只改了一轮提示。
|
||||
- 三项统计：去重后唯一 825（≥810），单条重复最多 5；人设每种 ≥48（点选+采集），惜字如金+方言/网络语 180/900=20%；长度 P25=16 / 中位=20 / P75=24（目标 8–16 / 15–27 / 20–36）。
|
||||
- 三层 400 / 400 / 100，配额偏差 ≤4.5%。
|
||||
- sha256：synthetic `79d53a958b3b42ed18c79e3bbcff4b31deb22b65eedcd89b39326a7fefc9b0e8`；simulated `53f13012fdc8f3721335bbe2961edf8c506a2f705b62bd9d302fce83ce2ef88d`；disputed `e80c5cd69c521a099d743e4a4632ad6bc103c3b5a505f5b376a7c9cebedb7646`。
|
||||
|
||||
### Token（分列）
|
||||
|
||||
| 段 | 调用 | input tok | output tok |
|
||||
| --- | ---: | ---: | ---: |
|
||||
| 生成 DeepSeek Flash | 1389 | 553,685 | 18,677 |
|
||||
| 复核 DeepSeek Flash | 1318 | 700,669 | 29,296 |
|
||||
| Jev `jev-1.13.0` 两次（A+C 910×2 + B 157×2） | 2134 | 2,213,898 | 283,528（Jev 输出不计费） |
|
||||
| 对照 Flash 全量一次 + C 1/3 第二次 + B 一次 | 1366 | 676,080 | 30,260 |
|
||||
|
||||
Jev 输入按 $0.042/Mtok ≈ $0.093。生成+复核+对照走 DeepSeek，不记 Jev 价。
|
||||
|
||||
### 来源 B
|
||||
|
||||
157 条全部人工标注（点选 17 + 采集 107 + 无焦点 33），约 40 分钟。`runtime_intent` 未抄成 gold。Jev×2 + Flash×1 已跑。代表性：无焦点层 intent 差 17.2pp > 10pp。
|
||||
|
||||
### 对照摘要
|
||||
|
||||
| 层 | Jev intent | Flash intent | 高置信错误 | 低置信召回 | Jev 自洽 |
|
||||
| --- | ---: | ---: | ---: | ---: | ---: |
|
||||
| 点选题 | 99.0% | 98.8% | 0.0% | 23.1% | 99.8% |
|
||||
| 采集题 | 92.2% | 97.5% | 2.8% | 45.5% | 98.0% |
|
||||
| 无焦点 | 96.0% | 94.0% | 1.0% | 25.0% | 100% |
|
||||
|
||||
cache 样本 id 与 `simulated.jsonl` 一致（900/900）。unavailable = 0。
|
||||
|
||||
### 结论
|
||||
|
||||
**缺数据**。无焦点层来源 B vs C 差 17.2pp；同时低置信召回未过 60%。不得上线。原「不可接」不沿用。
|
||||
|
||||
### 验证
|
||||
|
||||
- `python -m pytest tests/test_jev_intent_research.py -q`：11 passed
|
||||
- 构建脚本无 `bank = {`；复核函数无 `re.search` 判标签
|
||||
- 线上分类器文件未改
|
||||
|
||||
@@ -234,7 +234,7 @@
|
||||
| `TASK-rectification-open-collect-invite-20260914.md` | `PROGRESS-rectification-open-collect-invite-20260914.md` | **P0**：固定七条采集线问完后只说「能问的都问完了」，用户不知道还能补经历、也不知道补了有用；而两轮研究证明补带年月经历是唯一有效手段。产品拍板：交付卡照出 + 卡上给不限领域的补充邀请（先要确切日期，再退年月；举七条线之外的例子），补完必须可见生效（BUG-689） | 待验收 | `codex/rectification-open-collect-invite-20260914` |
|
||||
|
||||
| `TASK-rectification-cluster-width-research-20260914.md` | `PROGRESS-rectification-cluster-width-research-20260914.md` | **研究单**：上一轮证明调权重改不动交付区间宽度——所有方案宽度中位数都等于整个搜索窗。先确认 sweep 的宽度口径是否含淘汰（M0），再画簇结构像（M1），最后量三个改法：放宽簇上限、按分差决定是否合并、交付区间改分位覆盖（M2）。真值覆盖率不得下降 | 待验收 | `codex/rectification-cluster-width-research-20260914` |
|
||||
| `TASK-rectification-jev-intent-classifier-research-20260919.md` | `PROGRESS-rectification-jev-intent-classifier-research-20260919.md` | **研究单**：TypeSafe Jev（只做 Choice/Score/Noul 的校准判断模型，$0.042/Mtok）能否接管校正流的意图分类。产品 09-19 授权评估（推翻 09-15「分类只用贵模型」需重新拍板）。Agent 模拟校正流造 ≥900 条中文语料（标签先定、独立复核）+ 真机样本做代表性锚，量准确率 / 高置信错误率 / 低置信召回 / 延迟；只离线测，不改线上 | 验收未通过 → 修复单 `TASK-rectification-jev-intent-classifier-research-fix-20260919.md` 待领取 | 来源 C 是模板拼接+正则复核、无模型调用，「不可接」撤回改为 **缺数据**；来源 B=0、对照模型非线上会话模型 |
|
||||
| `TASK-rectification-jev-intent-classifier-research-20260919.md` | `PROGRESS-rectification-jev-intent-classifier-research-20260919.md` | **研究单**：TypeSafe Jev（只做 Choice/Score/Noul 的校准判断模型，$0.042/Mtok）能否接管校正流的意图分类。产品 09-19 授权评估（推翻 09-15「分类只用贵模型」需重新拍板）。Agent 模拟校正流造 ≥900 条中文语料（标签先定、独立复核）+ 真机样本做代表性锚，量准确率 / 高置信错误率 / 低置信召回 / 延迟；只离线测，不改线上 | **待验收**（修复轮已交，结论 **缺数据**） | 修复单 `TASK-rectification-jev-intent-classifier-research-fix-20260919.md` 已做完。来源 C 由 DeepSeek Flash 生成+复核（900 条，争议率 2.85%）；来源 B 157 条已人工标注。Jev 无焦点层 vs 真人差 17.2pp > 10pp。落点分支 `codex/rectification-jev-intent-research-fix-20260919` |
|
||||
|
||||
| `TASK-rectification-minute-resolution-research-20260914.md` | `PROGRESS-rectification-minute-resolution-research-20260914.md` | **研究单**：候选分不开的根因是打分尺度——窗口内恒定项 11.5 分 vs 随分钟变化项 2.125 分（≈5:1）。先修封存基准（v3 每例仅 3 件事且被标 invalidated）出 v4，再离线量五个改法：分盘除数、去底座、**KP 宫头子主计分（产品 09-14 拍板，推翻 BUG-325 一条红线）**、年精度事件改边际似然、聚类签名层对齐。有收益才立实现单 | 待验收 | `codex/rectification-minute-resolution-research-20260914` |
|
||||
|
||||
|
||||
Reference in New Issue
Block a user