jesse-ux
e3bd3930e3
V0 on the existing 157 real rows matches the 09-19 cache. The staging extract has no case linkage, so V1/V2 are unmeasured and the verdict stays 缺数据.
53 lines
2.4 KiB
Markdown
53 lines
2.4 KiB
Markdown
# TypeSafe Jev 意图分类 · 上一轮 state 对照（2026-09-27）
|
||
|
||
- 任务：`docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md`
|
||
- 基线：`origin/staging` @ `710c848b`
|
||
- 模型：`jev-1.13.0`；SDK `typesafe-sdk 0.7.0`
|
||
- 结论：**缺数据**。上一轮变量没有测全，不能判过门。已有的 V0 数字只作对照，不代替 V1/V2。
|
||
|
||
## 样本
|
||
|
||
- 来源 B：157 条。有上一轮 0，无上一轮 157。
|
||
- 层：点选 17 / 采集 107 / 无焦点 33。
|
||
- gold 来源：{"legacy_file": 157}。
|
||
- 链式与 gold 上界都未跑。09-19 文件没有 turn_id / case_id，本机没有 staging 库。
|
||
|
||
## 来源 B
|
||
|
||
| 变体 | n | intent | answer_class | dated | 高置信错误 | 低置信召回 | 无焦点 unclear→answer |
|
||
| --- | ---: | ---: | ---: | ---: | ---: | ---: | --- |
|
||
| Jev V0（09-19 缓存） | 157 | 91.1% | 98.0% | 91.7% | 6.4% | 24.1% | 7 / 无焦点高置信错误 12.1% |
|
||
| Flash V0（09-19 缓存，生产提示） | 157 | 89.2% | 97.0% | 93.6% | — | — | 5 / 无焦点高置信错误 — |
|
||
| Jev V1 | — | — | — | — | — | — | — |
|
||
| Jev V2 链式 | — | — | — | — | — | — | — |
|
||
| Jev V2 gold 上界 | — | — | — | — | — | — | — |
|
||
| Flash + V1 | — | — | — | — | — | — | — |
|
||
|
||
Jev V0 自洽率：96.2%。
|
||
|
||
## 来源 C 回归锚（只 V0）
|
||
|
||
- choice：重算 99.0%，09-19 公布 99.0%，差 0.0 pp（n=400）。
|
||
- collect：重算 92.2%，09-19 公布 92.2%，差 0.05 pp（n=400）。
|
||
- none：重算 96.0%，09-19 公布 96.0%，差 0.0 pp（n=100）。
|
||
- 来源 C 自洽率：99.0%。
|
||
|
||
## 无焦点层混淆（来源 B，V0）
|
||
|
||
计数来自报告 JSON，不含原文。
|
||
|
||
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|
||
| --- | ---: | ---: | ---: | ---: | ---: |
|
||
| provide_new_evidence | 24 | 0 | 0 | 0 | 0 |
|
||
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
|
||
| ask_about_result | 0 | 0 | 1 | 0 | 0 |
|
||
| unclear | 0 | 0 | 0 | 1 | 7 |
|
||
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
|
||
|
||
## 写不出的项
|
||
|
||
n_有上一轮 0 < 100；V1 没有预测；V2 链式没有预测；V2 gold 上界没有预测；Flash+V1 没有预测；来源 B 与来源 C 同层 intent 差 > 10pp
|
||
|
||
V1、V2、Flash+V1 要等 staging 库抽出带 `case_id` 的上一轮，并且本机有 `DEEPSEEK_API_KEY` 之后才能补。门槛不放宽。
|
||
|