research: compare Jev intent state with the previous turn
V0 on the existing 157 real rows matches the 09-19 cache. The staging extract has no case linkage, so V1/V2 are unmeasured and the verdict stays 缺数据.
This commit is contained in:
@@ -1,5 +1,7 @@
|
||||
# TypeSafe Jev 接管校正意图分类 · 离线对照(2026-09-19)
|
||||
|
||||
后续对照(把上一轮放进 state):`docs/research/jev_intent_2026_09_27.md`。下面的数字不改。
|
||||
|
||||
- 任务:`docs/tasks/TASK-rectification-jev-intent-classifier-research-20260919.md`
|
||||
- 基线:`origin/staging` @ `69a44fe7`
|
||||
- Jev 模型:`jev-1.13.0`(不用 jev-latest)
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,52 @@
|
||||
# TypeSafe Jev 意图分类 · 上一轮 state 对照(2026-09-27)
|
||||
|
||||
- 任务:`docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md`
|
||||
- 基线:`origin/staging` @ `710c848b`
|
||||
- 模型:`jev-1.13.0`;SDK `typesafe-sdk 0.7.0`
|
||||
- 结论:**缺数据**。上一轮变量没有测全,不能判过门。已有的 V0 数字只作对照,不代替 V1/V2。
|
||||
|
||||
## 样本
|
||||
|
||||
- 来源 B:157 条。有上一轮 0,无上一轮 157。
|
||||
- 层:点选 17 / 采集 107 / 无焦点 33。
|
||||
- gold 来源:{"legacy_file": 157}。
|
||||
- 链式与 gold 上界都未跑。09-19 文件没有 turn_id / case_id,本机没有 staging 库。
|
||||
|
||||
## 来源 B
|
||||
|
||||
| 变体 | n | intent | answer_class | dated | 高置信错误 | 低置信召回 | 无焦点 unclear→answer |
|
||||
| --- | ---: | ---: | ---: | ---: | ---: | ---: | --- |
|
||||
| Jev V0(09-19 缓存) | 157 | 91.1% | 98.0% | 91.7% | 6.4% | 24.1% | 7 / 无焦点高置信错误 12.1% |
|
||||
| Flash V0(09-19 缓存,生产提示) | 157 | 89.2% | 97.0% | 93.6% | — | — | 5 / 无焦点高置信错误 — |
|
||||
| Jev V1 | — | — | — | — | — | — | — |
|
||||
| Jev V2 链式 | — | — | — | — | — | — | — |
|
||||
| Jev V2 gold 上界 | — | — | — | — | — | — | — |
|
||||
| Flash + V1 | — | — | — | — | — | — | — |
|
||||
|
||||
Jev V0 自洽率:96.2%。
|
||||
|
||||
## 来源 C 回归锚(只 V0)
|
||||
|
||||
- choice:重算 99.0%,09-19 公布 99.0%,差 0.0 pp(n=400)。
|
||||
- collect:重算 92.2%,09-19 公布 92.2%,差 0.05 pp(n=400)。
|
||||
- none:重算 96.0%,09-19 公布 96.0%,差 0.0 pp(n=100)。
|
||||
- 来源 C 自洽率:99.0%。
|
||||
|
||||
## 无焦点层混淆(来源 B,V0)
|
||||
|
||||
计数来自报告 JSON,不含原文。
|
||||
|
||||
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|
||||
| --- | ---: | ---: | ---: | ---: | ---: |
|
||||
| provide_new_evidence | 24 | 0 | 0 | 0 | 0 |
|
||||
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
|
||||
| ask_about_result | 0 | 0 | 1 | 0 | 0 |
|
||||
| unclear | 0 | 0 | 0 | 1 | 7 |
|
||||
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
|
||||
|
||||
## 写不出的项
|
||||
|
||||
n_有上一轮 0 < 100;V1 没有预测;V2 链式没有预测;V2 gold 上界没有预测;Flash+V1 没有预测;来源 B 与来源 C 同层 intent 差 > 10pp
|
||||
|
||||
V1、V2、Flash+V1 要等 staging 库抽出带 `case_id` 的上一轮,并且本机有 `DEEPSEEK_API_KEY` 之后才能补。门槛不放宽。
|
||||
|
||||
Reference in New Issue
Block a user