# 进度 · Jev 意图分类 v2:上一轮放进 state(2026-09-27) - 分支:`codex/jev-intent-v2-20260927` - 基线:`origin/staging` @ `fdb7087b`(任务书提交 `710c848b` 在其历史上;本机 fetch 后 staging 尖端是 `fdb7087b`) - 任务书:`docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md` - 报告:`docs/research/jev_intent_2026_09_27.md` / `.json` - 结论:**缺数据**。来源 B 与来源 C 同层 intent 差超过 10pp(点选 23.7 pp,无焦点 38.8 pp)。只看这批来源 B,V2 链式高置信错误 8.0% > 3%,低置信召回 27.2% < 60%,同样过不了门。 ## 已跑到的数 | 项 | 结果 | | --- | --- | | 来源 B | 715(点选 269 / 采集 336 / 无焦点 110)。有上一轮 634,无上一轮 81 | | gold | 执行方阅读 565;点选回显 150。09-19 文件不在本机,按 turn_id 对回 0 | | Jev V0 | intent 79.4%,高置信错误 12.9%,低置信召回 15.1%,自洽 98.9% | | Jev V1 | intent 75.0%,高置信错误 9.4%,低置信召回 31.9%,自洽 94.3% | | Jev V2 链式(自喂) | intent 75.9%,高置信错误 8.0%,低置信召回 27.2%,自洽 93.3% | | Jev V2 gold 上界 | intent 75.7%,高置信错误 7.7%,低置信召回 28.8%,自洽 93.8% | | Flash V0 / Flash+V1 | intent 75.7% / 74.0%。Flash 没有置信度 | | 无焦点 unclear→answer | V0 43,V1 32,V2 链式 33,Flash V0 42,Flash+V1 43 | | 无焦点 intent | V0 58.2%,V2 链式 46.4%。高置信错误 32.7% → 16.4% | | 承接分 | 链式中位 0.16,最大 0.86,≥0.9 为 0,沿用上一轮 0 条 | | 来源 C V0(只跑一次) | 点选 98.8%(公布 99.0%,−0.25 pp),采集 92.5%(+0.30 pp),无焦点 97.0%(+1.0 pp) | 门槛不放宽。V2 相对 V0 的无焦点高置信错误下降了,但绝对数仍高于 3%,而且无焦点层总准确率下降。来源 C 与 09-19 公布值的差在 ±1 pp 内。 ## 接口 - SDK:`typesafe-sdk 0.7.0`(未升级) - 模型:响应字段 `model=jev-1.13.0` - 来源 B:Jev V0/V1/V2 链式/V2 gold 各两次,Flash V0 与 Flash+V1 各一次。715 条全部 `ok` - 来源 C:Jev V0 一次,900 条全部 `ok`。没有上一轮,不跑 V1/V2 - 延迟(来源 B 第一次,中位 / P95 ms):V0 1178 / 1376,V1 1187 / 1358,V2 链式 1206 / 1362,V2 gold 1207 / 1399,Flash V0 705 / 989,Flash+V1 717 / 1016 - 费用:来源 B 的 Jev 八次 6887443 input tok,约 $0.2893;来源 C 一次 939273 input tok,约 $0.0394。Flash 两次 747581 input tok,不按 Jev 单价计。原文只在 gitignore 的 `.cache/jev_intent/` ## 代码 - `build_state(..., variant=)`:默认仍是四字段。V1 加 `previous_turn`,V2 再加 `previous_decision` 和承接 Noul。Choice 的 criteria 原文没改 - `continues_previous_turn ≥ 0.9` 时沿用上一轮 intent,再走 `enforce_combo`。这一批最大 0.86,规则没有改过任何一条 - 已关闭焦点(`resolved_at` 早于本轮)不再当成当前题 - 未改 `frontend/src/**`,未加部署环境变量 ## 测试 `PYTHONPATH=. python3 -m unittest tests.test_jev_intent_research`:16 passed。任务书要求从 11 增到至少 14。现有文件在开工时已有 V1/V2 与报告重算用例,本次再加 1 条:已关闭焦点不是当前题。 `--from-report` 能从报告 JSON 的 `rows` 重算上表。`rows` 不含用户原文。 ## 偏离 1. 上一笔进度写「deploy 被拒、来源 B 抽不出」。本机用 `deploy` 与 `~/.ssh/jyotisha-staging` 抽出 715 条。那条阻塞解除。 2. 09-19 的 `source_b.jsonl` 不在本机,旧 157 条对不回 `turn_id`。新增 gold 是执行方按生产标注规范逐组阅读后写入,不是模型代标,也不是关键词表。点选回显 150 条单独记 `option_echo`。 3. 来源 C 按任务书只跑 V0 一次,所以自洽率空着。公布值对照用这一次。 4. 高置信阈值仍是 0.8,与 09-19 相同,没有改成 0.9。