Jesse_ChenandCursor
0b68fa97c4
The earlier report had no previous-turn rows. This run measures V0, V1, V2, and Flash on the re-extracted corpus and records that the real sample is not representative of the simulated set. Co-authored-by: Cursor <cursoragent@cursor.com>
5.1 KiB
5.1 KiB
TypeSafe Jev 意图分类 · 上一轮 state 对照（2026-09-27）
- 任务：
docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md - 基线：
origin/staging@fdb7087b（任务书提交710c848b在其历史上） - 模型：
jev-1.13.0；SDKtypesafe-sdk 0.7.0 - 结论：缺数据。来源 B 与来源 C 同层 intent 差超过 10pp（点选 23.7 pp，无焦点 38.8 pp）。按任务书这一项写缺数据，不把这批真人样本外推成过门。只看这批来源 B，高置信错误 8.0% > 3%；低置信召回 27.2% < 60%。
样本
- 来源 B：715 条。有上一轮 634，无上一轮 81。
- 层：点选 269 / 采集 336 / 无焦点 110。
- gold 来源：{"executor_read": 565, "option_echo": 150}。
- 09-19 的 source_b.jsonl 不在本机，旧 157 条按 turn_id 对回 0 条。其余 gold 为执行方按生产标注规范阅读后写入；点选回显另计。
- V2 链式的 previous_decision 来自同案上一条 Jev V2 输出（链式，自喂）。V2 gold 上界来自同案上一条人工 gold。案件第一轮 previous_turn 为 null，不喂 previous_decision。
来源 B
| 变体 | n | intent | answer_class | dated | 高置信错误 | 低置信召回 | 无焦点 unclear→answer |
|---|---|---|---|---|---|---|---|
| Jev V0 | 715 | 79.4% | 98.9% | 95.2% | 12.9% | 15.1% | 43 / 无焦点高置信错误 32.7% |
| Flash V0（生产提示） | 715 | 75.7% | 99.3% | 97.8% | — | — | 42 / 无焦点高置信错误 — |
| Jev V1 | 715 | 75.0% | 92.8% | 87.0% | 9.4% | 31.9% | 32 / 无焦点高置信错误 11.8% |
| Jev V2 链式（自喂） | 715 | 75.9% | 96.6% | 88.7% | 8.0% | 27.2% | 33 / 无焦点高置信错误 16.4% |
| Jev V2 gold 上界 | 715 | 75.7% | 96.6% | 89.0% | 7.7% | 28.8% | 34 / 无焦点高置信错误 13.6% |
| Flash + V1 | 715 | 74.0% | 99.1% | 95.0% | — | — | 43 / 无焦点高置信错误 — |
自洽率：V0 98.9%；V1 94.3%；V2 链式 93.3%；V2 gold 93.8%。
有上一轮 / 无上一轮（intent；Jev 另给高置信错误）：
| 变体 | 有上一轮 n | intent | 高置信错误 | 无上一轮 n | intent | 高置信错误 |
|---|---|---|---|---|---|---|
| Jev V0 | 634 | 77.0% | 14.0% | 81 | 98.8% | 3.7% |
| Jev V1 | 634 | 71.9% | 10.3% | 81 | 98.8% | 2.5% |
| Jev V2 链式 | 634 | 73.2% | 8.8% | 81 | 97.5% | 1.2% |
| Jev V2 gold | 634 | 72.7% | 8.5% | 81 | 98.8% | 1.2% |
| Flash V0 | 634 | 72.9% | — | 81 | 97.5% | — |
| Flash + V1 | 634 | 71.1% | — | 81 | 96.3% | — |
延迟与输入 token（来源 B，第一次）：
| 变体 | 中位 ms | P95 ms | 次均 input tok |
|---|---|---|---|
| Jev V0 | 1178 | 1376 | 1028.0 |
| Jev V1 | 1187 | 1358 | 1161.8 |
| Jev V2 链式 | 1206 | 1362 | 1313.6 |
| Jev V2 gold | 1207 | 1399 | 1313.0 |
| Flash V0 | 705 | 989 | 492.7 |
| Flash + V1 | 717 | 1016 | 552.8 |
无焦点层 intent：V0 58.2%，V2 链式 46.4%。高置信错误从 32.7% 到 16.4%。 V2 链式承接分：中位 0.16，最大 0.86，≥ 0.9 的 0 条，实际沿用上一轮 intent 的 0 条。
去掉点选回显后，V2 链式 n=565，intent 69.6%，高置信错误 8.3%，低置信召回 28.5%。门槛仍按全量样本。
来源 C 回归锚（只 V0，跑一次）
- 点选：来源 C 98.8%，09-19 公布 99.0%，差 -0.25 pp（n=400）。来源 B 75.1%，与来源 C 差 23.7 pp（n=269）。
- 采集：来源 C 92.5%，09-19 公布 92.2%，差 0.3 pp（n=400）。来源 B 89.9%，与来源 C 差 2.6 pp（n=336）。
- 无焦点：来源 C 97.0%，09-19 公布 96.0%，差 1.0 pp（n=100）。来源 B 58.2%，与来源 C 差 38.8 pp（n=110）。
- 来源 C 自洽率：—。
无焦点层混淆（来源 B）
计数来自报告 JSON，不含原文。
V0
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|---|---|---|---|---|---|
| provide_new_evidence | 60 | 0 | 0 | 0 | 0 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 0 | 0 | 2 | 2 | 0 |
| unclear | 1 | 0 | 0 | 2 | 43 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
V1
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|---|---|---|---|---|---|
| provide_new_evidence | 45 | 0 | 0 | 0 | 15 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 2 | 0 | 0 | 1 | 1 |
| unclear | 11 | 0 | 0 | 3 | 32 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
V2 链式
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
|---|---|---|---|---|---|
| provide_new_evidence | 47 | 0 | 0 | 0 | 13 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 1 | 0 | 1 | 1 | 1 |
| unclear | 10 | 0 | 0 | 3 | 33 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
写不出的项
来源 B 与来源 C 同层 intent 差 > 10pp
来源 B 的 Jev 八次合计 6887443 input tok，按 $0.042/M 约 $0.2893。来源 C 一次 939273 input tok，约 $0.0394。Flash 两次合计 747581 input tok，不按 Jev 单价计。响应 model：['jev-1.13.0']。