research: score Jev intent variants with the previous turn
The earlier report had no previous-turn rows. This run measures V0, V1, V2, and Flash on the re-extracted corpus and records that the real sample is not representative of the simulated set. Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
Jesse_Chen
@@ -1,45 +1,54 @@
|
||||
# 进度 · Jev 意图分类 v2：上一轮放进 state（2026-09-27）
|
||||
|
||||
- 分支：`codex/jev-intent-v2-20260927`
|
||||
- 基线：`origin/staging` @ `710c848b`
|
||||
- 基线：`origin/staging` @ `fdb7087b`（任务书提交 `710c848b` 在其历史上；本机 fetch 后 staging 尖端是 `fdb7087b`）
|
||||
- 任务书：`docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md`
|
||||
- 报告：`docs/research/jev_intent_2026_09_27.md` / `.json`
|
||||
- 结论：**缺数据**。有上一轮 0 条，V1/V2 没有数字，不能判过门。
|
||||
- 结论：**缺数据**。来源 B 与来源 C 同层 intent 差超过 10pp（点选 23.7 pp，无焦点 38.8 pp）。只看这批来源 B，V2 链式高置信错误 8.0% > 3%，低置信召回 27.2% < 60%，同样过不了门。
|
||||
|
||||
## 已跑到的数
|
||||
|
||||
| 项 | 结果 |
|
||||
| --- | --- |
|
||||
| 来源 B | 157（点选 17 / 采集 107 / 无焦点 33）。gold 全部来自 09-19 文件，不是新标 |
|
||||
| 有上一轮 / 无上一轮 | 0 / 157 |
|
||||
| Jev V0 intent | 91.1%（自洽 96.2%，高置信错误 6.4%，低置信召回 24.1%） |
|
||||
| Flash V0 intent | 89.2%（09-19 缓存，生产提示；Flash 没有置信度） |
|
||||
| 无焦点 `unclear → answer_current_focus` | Jev V0 = 7，Flash V0 = 5 |
|
||||
| 来源 C V0 相对 09-19 公布值 | 点选 0 pp，采集 +0.05 pp（公布值四舍五入到 92.2%），无焦点 0 pp |
|
||||
| 来源 B | 715（点选 269 / 采集 336 / 无焦点 110）。有上一轮 634，无上一轮 81 |
|
||||
| gold | 执行方阅读 565；点选回显 150。09-19 文件不在本机，按 turn_id 对回 0 |
|
||||
| Jev V0 | intent 79.4%，高置信错误 12.9%，低置信召回 15.1%，自洽 98.9% |
|
||||
| Jev V1 | intent 75.0%，高置信错误 9.4%，低置信召回 31.9%，自洽 94.3% |
|
||||
| Jev V2 链式（自喂） | intent 75.9%，高置信错误 8.0%，低置信召回 27.2%，自洽 93.3% |
|
||||
| Jev V2 gold 上界 | intent 75.7%，高置信错误 7.7%，低置信召回 28.8%，自洽 93.8% |
|
||||
| Flash V0 / Flash+V1 | intent 75.7% / 74.0%。Flash 没有置信度 |
|
||||
| 无焦点 unclear→answer | V0 43，V1 32，V2 链式 33，Flash V0 42，Flash+V1 43 |
|
||||
| 无焦点 intent | V0 58.2%，V2 链式 46.4%。高置信错误 32.7% → 16.4% |
|
||||
| 承接分 | 链式中位 0.16，最大 0.86，≥0.9 为 0，沿用上一轮 0 条 |
|
||||
| 来源 C V0（只跑一次） | 点选 98.8%（公布 99.0%，−0.25 pp），采集 92.5%（+0.30 pp），无焦点 97.0%（+1.0 pp） |
|
||||
|
||||
V0 没有重打接口，state 与 09-19 相同，数字从 `jev_runs_v2.json` 重算。`--from-report` 只读报告 JSON 的 `rows`，来源 B intent 仍是 91.1%。
|
||||
门槛不放宽。V2 相对 V0 的无焦点高置信错误下降了，但绝对数仍高于 3%，而且无焦点层总准确率下降。来源 C 与 09-19 公布值的差在 ±1 pp 内。
|
||||
|
||||
## 接口
|
||||
|
||||
- SDK：`typesafe-sdk 0.7.0`（09-19 进度里写的版本，未升级）
|
||||
- SDK：`typesafe-sdk 0.7.0`（未升级）
|
||||
- 模型：响应字段 `model=jev-1.13.0`
|
||||
- 连通性：合成样本 V0 1 次，1295 ms，1120 input tok；V2（多一个承接 Noul）1 次，971 ms，`continues_previous_turn=0.16`，规则阈值 0.9 未沿用上一轮。这两次不进计分，费用可忽略
|
||||
- 来源 B / C 的 V1、V2、Flash+V1：0 次
|
||||
- 来源 B：Jev V0/V1/V2 链式/V2 gold 各两次，Flash V0 与 Flash+V1 各一次。715 条全部 `ok`
|
||||
- 来源 C：Jev V0 一次，900 条全部 `ok`。没有上一轮，不跑 V1/V2
|
||||
- 延迟（来源 B 第一次，中位 / P95 ms）：V0 1178 / 1376，V1 1187 / 1358，V2 链式 1206 / 1362，V2 gold 1207 / 1399，Flash V0 705 / 989，Flash+V1 717 / 1016
|
||||
- 费用：来源 B 的 Jev 八次 6887443 input tok，约 $0.2893；来源 C 一次 939273 input tok，约 $0.0394。Flash 两次 747581 input tok，不按 Jev 单价计。原文只在 gitignore 的 `.cache/jev_intent/`
|
||||
|
||||
## 代码
|
||||
|
||||
- `build_state(..., variant=)`：默认仍是四字段。V1 加 `previous_turn`，V2 再加 `previous_decision` 和承接 Noul。Choice 的 criteria 原文没改。
|
||||
- `continues_previous_turn ≥ 0.9` 时沿用上一轮的 intent，并带上它的 answer_class，再走原来的 `enforce_combo`。低于 0.9 用本轮结果。
|
||||
- 没有 `case_id` 的行不会被串成上一轮。
|
||||
- 未改 `frontend/src/**`，未加部署环境变量。
|
||||
- `build_state(..., variant=)`：默认仍是四字段。V1 加 `previous_turn`，V2 再加 `previous_decision` 和承接 Noul。Choice 的 criteria 原文没改
|
||||
- `continues_previous_turn ≥ 0.9` 时沿用上一轮 intent，再走 `enforce_combo`。这一批最大 0.86，规则没有改过任何一条
|
||||
- 已关闭焦点（`resolved_at` 早于本轮）不再当成当前题
|
||||
- 未改 `frontend/src/**`，未加部署环境变量
|
||||
|
||||
## 测试
|
||||
|
||||
`python -m unittest tests.test_jev_intent_research`：15 passed。开工时文件里已有 12 条（任务书写的 11 条之外，fix2 已加报告 JSON 那条），本次新增 3 条：V1/V2 state 形状、承接规则、案件首轮 `previous_turn=null`。旧断言未改。
|
||||
`PYTHONPATH=. python3 -m unittest tests.test_jev_intent_research`：16 passed。任务书要求从 11 增到至少 14。现有文件在开工时已有 V1/V2 与报告重算用例，本次再加 1 条：已关闭焦点不是当前题。
|
||||
|
||||
`--from-report` 能从报告 JSON 的 `rows` 重算上表。`rows` 不含用户原文。
|
||||
|
||||
## 偏离
|
||||
|
||||
1. 重抽来源 B 仍被 staging 库挡住。主机通，登录用户是 `ubuntu`，本机私钥不被接受。旧 157 条没有 `turn_id`。见 `BLOCKED.md`。
|
||||
2. 没有拿「上一轮 = null」去打满 V1/V2。那样测的是空字段，不是 Magpie 的喂法。
|
||||
3. DeepSeek key 已用合成样本打通（`deepseek-flash`）。Flash V0 仍用 09-19 缓存，没有把 157 条重打一遍。Flash+V1 仍缺上一轮。
|
||||
4. 来源 C 没有上一轮，按任务书不跑 V1/V2。V0 用缓存重算，没有再花 900 次调用。
|
||||
1. 上一笔进度写「deploy 被拒、来源 B 抽不出」。本机用 `deploy` 与 `~/.ssh/jyotisha-staging` 抽出 715 条。那条阻塞解除。
|
||||
2. 09-19 的 `source_b.jsonl` 不在本机，旧 157 条对不回 `turn_id`。新增 gold 是执行方按生产标注规范逐组阅读后写入，不是模型代标，也不是关键词表。点选回显 150 条单独记 `option_echo`。
|
||||
3. 来源 C 按任务书只跑 V0 一次，所以自洽率空着。公布值对照用这一次。
|
||||
4. 高置信阈值仍是 0.8，与 09-19 相同，没有改成 0.9。
|
||||
|
||||
@@ -295,7 +295,7 @@
|
||||
|
||||
| `TASK-rectification-cluster-width-research-20260914.md` | `PROGRESS-rectification-cluster-width-research-20260914.md` | **研究单**：上一轮证明调权重改不动交付区间宽度——所有方案宽度中位数都等于整个搜索窗。先确认 sweep 的宽度口径是否含淘汰（M0），再画簇结构像（M1），最后量三个改法：放宽簇上限、按分差决定是否合并、交付区间改分位覆盖（M2）。真值覆盖率不得下降 | 已验收（结论收入定论页 `docs/research/rectification_minute_resolution_closure_2026_09_14.md`，`a643452b`） | `cf972f40` |
|
||||
| `TASK-rectification-jev-intent-classifier-research-20260919.md` | `PROGRESS-rectification-jev-intent-classifier-research-20260919.md` | **研究单**：TypeSafe Jev（只做 Choice/Score/Noul 的校准判断模型，$0.042/Mtok）能否接管校正流的意图分类。产品 09-19 授权评估（推翻 09-15「分类只用贵模型」需重新拍板）。Agent 模拟校正流造 ≥900 条中文语料（标签先定、独立复核）+ 真机样本做代表性锚，量准确率 / 高置信错误率 / 低置信召回 / 延迟；只离线测，不改线上 | **关单**（产品 2026-09-19 拍板）：结论 **缺数据**，Jev 不接管、不影子双跑、不再造语料；09-15「分类只用贵模型」口径维持 | 真人 157 条：Jev intent 91.1% vs 线上 Flash 89.2%，无焦点层两边都差（78.8% / 69.7%，同一错模式）；挡住上线的是 Jev 置信度不可用：高置信错误全集 6.4% / 无焦点 12.1% > 3%，低置信召回 24%。fix2 507ef959 已验收通过 |
|
||||
| `TASK-rectification-jev-intent-classifier-research-v2-20260927.md` | `PROGRESS-rectification-jev-intent-classifier-research-v2-20260927.md` | **研究单 v2**：Magpie 把上一轮决策塞进 Jev state 后路由效果大改；核实 TypeSafe 仍只有 `jev-1.13.0`（与 09-19 同版本），变量只在喂法。产品 09-27 授权：重抽真人来源 B（带 `case_id` 与上一轮，推翻 09-19「不再造语料」），state 三变体 V0/V1(+上一轮)/V2(+上一轮决策+承接 Noul)，门槛沿用 09-19 不放宽；不接管、不影子双跑维持 | **待验收**（结论缺数据：有上一轮 0 条，V1/V2 与 Flash+V1 未跑） | 分支 `codex/jev-intent-v2-20260927`；V0 重算与 09-19 一致（真人 Jev 91.1% / Flash 89.2%，无焦点 unclear→答题 7）；报告 `docs/research/jev_intent_2026_09_27.md` |
|
||||
| `TASK-rectification-jev-intent-classifier-research-v2-20260927.md` | `PROGRESS-rectification-jev-intent-classifier-research-v2-20260927.md` | **研究单 v2**：Magpie 把上一轮决策塞进 Jev state 后路由效果大改；核实 TypeSafe 仍只有 `jev-1.13.0`（与 09-19 同版本），变量只在喂法。产品 09-27 授权：重抽真人来源 B（带 `case_id` 与上一轮，推翻 09-19「不再造语料」），state 三变体 V0/V1(+上一轮)/V2(+上一轮决策+承接 Noul)，门槛沿用 09-19 不放宽；不接管、不影子双跑维持 | **缺数据**（B/C 同层 intent 差 > 10pp：点选 23.7 pp、无焦点 38.8 pp。这批来源 B 上 V2 高置信错误 8.0%、低置信召回 27.2%，也过不了门） | 分支 `codex/jev-intent-v2-20260927`；来源 B 715 / 有上一轮 634；报告 `docs/research/jev_intent_2026_09_27.md` |
|
||||
|
||||
| `TASK-rectification-minute-resolution-research-20260914.md` | `PROGRESS-rectification-minute-resolution-research-20260914.md` | **研究单**：候选分不开的根因是打分尺度——窗口内恒定项 11.5 分 vs 随分钟变化项 2.125 分（≈5:1）。先修封存基准（v3 每例仅 3 件事且被标 invalidated）出 v4，再离线量五个改法：分盘除数、去底座、**KP 宫头子主计分（产品 09-14 拍板，推翻 BUG-325 一条红线）**、年精度事件改边际似然、聚类签名层对齐。有收益才立实现单 | 已验收（结论收入定论页 `docs/research/rectification_minute_resolution_closure_2026_09_14.md`，`a643452b`） | `2d2467dc` |
|
||||
|
||||
|
||||
Reference in New Issue
Block a user