research: compare Jev intent state with the previous turn
Independent Staging Quality Gate / validate (push) Successful in 12m0s
Independent Staging Quality Gate / publish (push) Successful in 3m35s

V0 on the existing 157 real rows matches the 09-19 cache. The staging extract has no case linkage, so V1/V2 are unmeasured and the verdict stays 缺数据.
This commit is contained in:
jesse-ux
2026-09-27 11:41:53 +08:00
parent 710c848b30
commit e3bd3930e3
13 changed files with 100475 additions and 26 deletions
+2
View File
@@ -1,5 +1,7 @@
# TypeSafe Jev 接管校正意图分类 · 离线对照(2026-09-19)
后续对照(把上一轮放进 state):`docs/research/jev_intent_2026_09_27.md`。下面的数字不改。
- 任务:`docs/tasks/TASK-rectification-jev-intent-classifier-research-20260919.md`
- 基线:`origin/staging` @ `69a44fe7`
- Jev 模型:`jev-1.13.0`(不用 jev-latest)
File diff suppressed because it is too large Load Diff
+52
View File
@@ -0,0 +1,52 @@
# TypeSafe Jev 意图分类 · 上一轮 state 对照(2026-09-27)
- 任务:`docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md`
- 基线:`origin/staging` @ `710c848b`
- 模型:`jev-1.13.0`;SDK `typesafe-sdk 0.7.0`
- 结论:**缺数据**。上一轮变量没有测全,不能判过门。已有的 V0 数字只作对照,不代替 V1/V2。
## 样本
- 来源 B:157 条。有上一轮 0,无上一轮 157。
- 层:点选 17 / 采集 107 / 无焦点 33。
- gold 来源:{"legacy_file": 157}。
- 链式与 gold 上界都未跑。09-19 文件没有 turn_id / case_id,本机没有 staging 库。
## 来源 B
| 变体 | n | intent | answer_class | dated | 高置信错误 | 低置信召回 | 无焦点 unclear→answer |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | --- |
| Jev V0(09-19 缓存) | 157 | 91.1% | 98.0% | 91.7% | 6.4% | 24.1% | 7 / 无焦点高置信错误 12.1% |
| Flash V0(09-19 缓存,生产提示) | 157 | 89.2% | 97.0% | 93.6% | — | — | 5 / 无焦点高置信错误 — |
| Jev V1 | — | — | — | — | — | — | — |
| Jev V2 链式 | — | — | — | — | — | — | — |
| Jev V2 gold 上界 | — | — | — | — | — | — | — |
| Flash + V1 | — | — | — | — | — | — | — |
Jev V0 自洽率:96.2%。
## 来源 C 回归锚(只 V0)
- choice:重算 99.0%,09-19 公布 99.0%,差 0.0 pp(n=400)。
- collect:重算 92.2%,09-19 公布 92.2%,差 0.05 pp(n=400)。
- none:重算 96.0%,09-19 公布 96.0%,差 0.0 pp(n=100)。
- 来源 C 自洽率:99.0%。
## 无焦点层混淆(来源 B,V0)
计数来自报告 JSON,不含原文。
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
| --- | ---: | ---: | ---: | ---: | ---: |
| provide_new_evidence | 24 | 0 | 0 | 0 | 0 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 0 | 0 | 1 | 0 | 0 |
| unclear | 0 | 0 | 0 | 1 | 7 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
## 写不出的项
n_有上一轮 0 < 100;V1 没有预测;V2 链式没有预测;V2 gold 上界没有预测;Flash+V1 没有预测;来源 B 与来源 C 同层 intent 差 > 10pp
V1、V2、Flash+V1 要等 staging 库抽出带 `case_id` 的上一轮,并且本机有 `DEEPSEEK_API_KEY` 之后才能补。门槛不放宽。