jesse-ux
e3bd3930e3
V0 on the existing 157 real rows matches the 09-19 cache. The staging extract has no case linkage, so V1/V2 are unmeasured and the verdict stays 缺数据.
2.4 KiB
2.4 KiB
TypeSafe Jev 意图分类 · 上一轮 state 对照（2026-09-27）
- 任务：
docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md - 基线：
origin/staging@710c848b - 模型：
jev-1.13.0；SDKtypesafe-sdk 0.7.0 - 结论：缺数据。上一轮变量没有测全，不能判过门。已有的 V0 数字只作对照，不代替 V1/V2。
样本
- 来源 B：157 条。有上一轮 0，无上一轮 157。
- 层：点选 17 / 采集 107 / 无焦点 33。
- gold 来源：{"legacy_file": 157}。
- 链式与 gold 上界都未跑。09-19 文件没有 turn_id / case_id，本机没有 staging 库。
来源 B
| 变体 | n | intent | answer_class | dated | 高置信错误 | 低置信召回 | 无焦点 unclear→answer |
|---|---|---|---|---|---|---|---|
| Jev V0（09-19 缓存） | 157 | 91.1% | 98.0% | 91.7% | 6.4% | 24.1% | 7 / 无焦点高置信错误 12.1% |
| Flash V0（09-19 缓存，生产提示） | 157 | 89.2% | 97.0% | 93.6% | — | — | 5 / 无焦点高置信错误 — |
| Jev V1 | — | — | — | — | — | — | — |
| Jev V2 链式 | — | — | — | — | — | — | — |
| Jev V2 gold 上界 | — | — | — | — | — | — | — |
| Flash + V1 | — | — | — | — | — | — | — |
Jev V0 自洽率：96.2%。
来源 C 回归锚（只 V0）
- choice：重算 99.0%，09-19 公布 99.0%，差 0.0 pp（n=400）。
- collect：重算 92.2%，09-19 公布 92.2%，差 0.05 pp（n=400）。
- none：重算 96.0%，09-19 公布 96.0%，差 0.0 pp（n=100）。
- 来源 C 自洽率：99.0%。
无焦点层混淆（来源 B，V0）
计数来自报告 JSON，不含原文。
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|---|---|---|---|---|---|
| provide_new_evidence | 24 | 0 | 0 | 0 | 0 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 0 | 0 | 1 | 0 | 0 |
| unclear | 0 | 0 | 0 | 1 | 7 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
写不出的项
n_有上一轮 0 < 100；V1 没有预测；V2 链式没有预测；V2 gold 上界没有预测；Flash+V1 没有预测；来源 B 与来源 C 同层 intent 差 > 10pp
V1、V2、Flash+V1 要等 staging 库抽出带 case_id 的上一轮，并且本机有 DEEPSEEK_API_KEY 之后才能补。门槛不放宽。