Jesse_ChenandCursor
0b68fa97c4
The earlier report had no previous-turn rows. This run measures V0, V1, V2, and Flash on the re-extracted corpus and records that the real sample is not representative of the simulated set. Co-authored-by: Cursor <cursoragent@cursor.com>
103 lines
5.1 KiB
Markdown
103 lines
5.1 KiB
Markdown
# TypeSafe Jev 意图分类 · 上一轮 state 对照（2026-09-27）
|
||
|
||
- 任务：`docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md`
|
||
- 基线：`origin/staging` @ `fdb7087b`（任务书提交 `710c848b` 在其历史上）
|
||
- 模型：`jev-1.13.0`；SDK `typesafe-sdk 0.7.0`
|
||
- 结论：**缺数据**。来源 B 与来源 C 同层 intent 差超过 10pp（点选 23.7 pp，无焦点 38.8 pp）。按任务书这一项写缺数据，不把这批真人样本外推成过门。只看这批来源 B，高置信错误 8.0% > 3%；低置信召回 27.2% < 60%。
|
||
|
||
## 样本
|
||
|
||
- 来源 B：715 条。有上一轮 634，无上一轮 81。
|
||
- 层：点选 269 / 采集 336 / 无焦点 110。
|
||
- gold 来源：{"executor_read": 565, "option_echo": 150}。
|
||
- 09-19 的 source_b.jsonl 不在本机，旧 157 条按 turn_id 对回 0 条。其余 gold 为执行方按生产标注规范阅读后写入；点选回显另计。
|
||
- V2 链式的 previous_decision 来自同案上一条 Jev V2 输出（链式，自喂）。V2 gold 上界来自同案上一条人工 gold。案件第一轮 previous_turn 为 null，不喂 previous_decision。
|
||
|
||
## 来源 B
|
||
|
||
| 变体 | n | intent | answer_class | dated | 高置信错误 | 低置信召回 | 无焦点 unclear→answer |
|
||
| --- | ---: | ---: | ---: | ---: | ---: | ---: | --- |
|
||
| Jev V0 | 715 | 79.4% | 98.9% | 95.2% | 12.9% | 15.1% | 43 / 无焦点高置信错误 32.7% |
|
||
| Flash V0（生产提示） | 715 | 75.7% | 99.3% | 97.8% | — | — | 42 / 无焦点高置信错误 — |
|
||
| Jev V1 | 715 | 75.0% | 92.8% | 87.0% | 9.4% | 31.9% | 32 / 无焦点高置信错误 11.8% |
|
||
| Jev V2 链式（自喂） | 715 | 75.9% | 96.6% | 88.7% | 8.0% | 27.2% | 33 / 无焦点高置信错误 16.4% |
|
||
| Jev V2 gold 上界 | 715 | 75.7% | 96.6% | 89.0% | 7.7% | 28.8% | 34 / 无焦点高置信错误 13.6% |
|
||
| Flash + V1 | 715 | 74.0% | 99.1% | 95.0% | — | — | 43 / 无焦点高置信错误 — |
|
||
|
||
自洽率：V0 98.9%；V1 94.3%；V2 链式 93.3%；V2 gold 93.8%。
|
||
|
||
有上一轮 / 无上一轮（intent；Jev 另给高置信错误）：
|
||
|
||
| 变体 | 有上一轮 n | intent | 高置信错误 | 无上一轮 n | intent | 高置信错误 |
|
||
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
|
||
| Jev V0 | 634 | 77.0% | 14.0% | 81 | 98.8% | 3.7% |
|
||
| Jev V1 | 634 | 71.9% | 10.3% | 81 | 98.8% | 2.5% |
|
||
| Jev V2 链式 | 634 | 73.2% | 8.8% | 81 | 97.5% | 1.2% |
|
||
| Jev V2 gold | 634 | 72.7% | 8.5% | 81 | 98.8% | 1.2% |
|
||
| Flash V0 | 634 | 72.9% | — | 81 | 97.5% | — |
|
||
| Flash + V1 | 634 | 71.1% | — | 81 | 96.3% | — |
|
||
|
||
延迟与输入 token（来源 B，第一次）：
|
||
|
||
| 变体 | 中位 ms | P95 ms | 次均 input tok |
|
||
| --- | ---: | ---: | ---: |
|
||
| Jev V0 | 1178 | 1376 | 1028.0 |
|
||
| Jev V1 | 1187 | 1358 | 1161.8 |
|
||
| Jev V2 链式 | 1206 | 1362 | 1313.6 |
|
||
| Jev V2 gold | 1207 | 1399 | 1313.0 |
|
||
| Flash V0 | 705 | 989 | 492.7 |
|
||
| Flash + V1 | 717 | 1016 | 552.8 |
|
||
|
||
无焦点层 intent：V0 58.2%，V2 链式 46.4%。高置信错误从 32.7% 到 16.4%。
|
||
V2 链式承接分：中位 0.16，最大 0.86，≥ 0.9 的 0 条，实际沿用上一轮 intent 的 0 条。
|
||
|
||
去掉点选回显后，V2 链式 n=565，intent 69.6%，高置信错误 8.3%，低置信召回 28.5%。门槛仍按全量样本。
|
||
|
||
## 来源 C 回归锚（只 V0，跑一次）
|
||
|
||
- 点选：来源 C 98.8%，09-19 公布 99.0%，差 -0.25 pp（n=400）。来源 B 75.1%，与来源 C 差 23.7 pp（n=269）。
|
||
- 采集：来源 C 92.5%，09-19 公布 92.2%，差 0.3 pp（n=400）。来源 B 89.9%，与来源 C 差 2.6 pp（n=336）。
|
||
- 无焦点：来源 C 97.0%，09-19 公布 96.0%，差 1.0 pp（n=100）。来源 B 58.2%，与来源 C 差 38.8 pp（n=110）。
|
||
- 来源 C 自洽率：—。
|
||
|
||
## 无焦点层混淆（来源 B）
|
||
|
||
计数来自报告 JSON，不含原文。
|
||
|
||
### V0
|
||
|
||
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|
||
| --- | ---: | ---: | ---: | ---: | ---: |
|
||
| provide_new_evidence | 60 | 0 | 0 | 0 | 0 |
|
||
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
|
||
| ask_about_result | 0 | 0 | 2 | 2 | 0 |
|
||
| unclear | 1 | 0 | 0 | 2 | 43 |
|
||
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
|
||
|
||
### V1
|
||
|
||
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|
||
| --- | ---: | ---: | ---: | ---: | ---: |
|
||
| provide_new_evidence | 45 | 0 | 0 | 0 | 15 |
|
||
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
|
||
| ask_about_result | 2 | 0 | 0 | 1 | 1 |
|
||
| unclear | 11 | 0 | 0 | 3 | 32 |
|
||
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
|
||
|
||
### V2 链式
|
||
|
||
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|
||
| --- | ---: | ---: | ---: | ---: | ---: |
|
||
| provide_new_evidence | 47 | 0 | 0 | 0 | 13 |
|
||
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
|
||
| ask_about_result | 1 | 0 | 1 | 1 | 1 |
|
||
| unclear | 10 | 0 | 0 | 3 | 33 |
|
||
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
|
||
|
||
## 写不出的项
|
||
|
||
来源 B 与来源 C 同层 intent 差 > 10pp
|
||
|
||
来源 B 的 Jev 八次合计 6887443 input tok，按 $0.042/M 约 $0.2893。来源 C 一次 939273 input tok，约 $0.0394。Flash 两次合计 747581 input tok，不按 Jev 单价计。响应 model：['jev-1.13.0']。
|
||
|