root/Jyotisha
1
0
Fork 0
Code Issues 1 Pull Requests 1 Actions Packages Projects Releases Wiki Activity

research: score Jev intent variants with the previous turn

Browse Source 
The earlier report had no previous-turn rows. This run measures V0, V1, V2, and Flash on the re-extracted corpus and records that the real sample is not representative of the simulated set.

Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
Jesse_Chen
2026-09-27 13:10:35 +08:00
co-authored by Cursor
parent fdb7087b19
commit 0b68fa97c4
10 changed files with 338682 additions and 99563 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/research/jev_intent_2026_09_27.json
+337919 -99456
View File
File diff suppressed because it is too large Load Diff
docs/research/jev_intent_2026_09_27.md
+102 -52
View File
@@ -1,52 +1,102 @@
# TypeSafe Jev 意图分类 · 上一轮 state 对照（2026-09-27）
- 任务：`docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md`
- 基线：`origin/staging` @ `710c848b`
- 模型：`jev-1.13.0`；SDK `typesafe-sdk 0.7.0`
- 结论：**缺数据**。上一轮变量没有测全，不能判过门。已有的 V0 数字只作对照，不代替 V1/V2。
## 样本
- 来源 B：157 条。有上一轮 0，无上一轮 157。
- 层：点选 17 / 采集 107 / 无焦点 33。
- gold 来源：{"legacy_file": 157}。
- 链式与 gold 上界都未跑。09-19 文件没有 turn_id / case_id，本机没有 staging 库。
## 来源 B
| 变体 | n | intent | answer_class | dated | 高置信错误 | 低置信召回 | 无焦点 unclear→answer |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | --- |
| Jev V0（09-19 缓存） | 157 | 91.1% | 98.0% | 91.7% | 6.4% | 24.1% | 7 / 无焦点高置信错误 12.1% |
| Flash V0（09-19 缓存，生产提示） | 157 | 89.2% | 97.0% | 93.6% | — | — | 5 / 无焦点高置信错误 — |
| Jev V1 | — | — | — | — | — | — | — |
| Jev V2 链式 | — | — | — | — | — | — | — |
| Jev V2 gold 上界 | — | — | — | — | — | — | — |
| Flash + V1 | — | — | — | — | — | — | — |
Jev V0 自洽率：96.2%。
## 来源 C 回归锚（只 V0）
- choice：重算 99.0%，09-19 公布 99.0%，差 0.0 pp（n=400）。
- collect：重算 92.2%，09-19 公布 92.2%，差 0.05 pp（n=400）。
- none：重算 96.0%，09-19 公布 96.0%，差 0.0 pp（n=100）。
- 来源 C 自洽率：99.0%。
## 无焦点层混淆（来源 B，V0）
计数来自报告 JSON，不含原文。
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
| --- | ---: | ---: | ---: | ---: | ---: |
| provide_new_evidence | 24 | 0 | 0 | 0 | 0 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 0 | 0 | 1 | 0 | 0 |
| unclear | 0 | 0 | 0 | 1 | 7 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
## 写不出的项
n_有上一轮 0 < 100；V1 没有预测；V2 链式没有预测；V2 gold 上界没有预测；Flash+V1 没有预测；来源 B 与来源 C 同层 intent 差 > 10pp
V1、V2、Flash+V1 要等 staging 库抽出带 `case_id` 的上一轮，并且本机有 `DEEPSEEK_API_KEY` 之后才能补。门槛不放宽。
# TypeSafe Jev 意图分类 · 上一轮 state 对照（2026-09-27）
- 任务：`docs/tasks/TASK-rectification-jev-intent-classifier-research-v2-20260927.md`
- 基线：`origin/staging` @ `fdb7087b`（任务书提交 `710c848b` 在其历史上）
- 模型：`jev-1.13.0`；SDK `typesafe-sdk 0.7.0`
- 结论：**缺数据**。来源 B 与来源 C 同层 intent 差超过 10pp（点选 23.7 pp，无焦点 38.8 pp）。按任务书这一项写缺数据，不把这批真人样本外推成过门。只看这批来源 B，高置信错误 8.0% > 3%；低置信召回 27.2% < 60%。
## 样本
- 来源 B：715 条。有上一轮 634，无上一轮 81。
- 层：点选 269 / 采集 336 / 无焦点 110。
- gold 来源：{"executor_read": 565, "option_echo": 150}。
- 09-19 的 source_b.jsonl 不在本机，旧 157 条按 turn_id 对回 0 条。其余 gold 为执行方按生产标注规范阅读后写入；点选回显另计。
- V2 链式的 previous_decision 来自同案上一条 Jev V2 输出（链式，自喂）。V2 gold 上界来自同案上一条人工 gold。案件第一轮 previous_turn 为 null，不喂 previous_decision。
## 来源 B
| 变体 | n | intent | answer_class | dated | 高置信错误 | 低置信召回 | 无焦点 unclear→answer |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | --- |
| Jev V0 | 715 | 79.4% | 98.9% | 95.2% | 12.9% | 15.1% | 43 / 无焦点高置信错误 32.7% |
| Flash V0（生产提示） | 715 | 75.7% | 99.3% | 97.8% | — | — | 42 / 无焦点高置信错误 — |
| Jev V1 | 715 | 75.0% | 92.8% | 87.0% | 9.4% | 31.9% | 32 / 无焦点高置信错误 11.8% |
| Jev V2 链式（自喂） | 715 | 75.9% | 96.6% | 88.7% | 8.0% | 27.2% | 33 / 无焦点高置信错误 16.4% |
| Jev V2 gold 上界 | 715 | 75.7% | 96.6% | 89.0% | 7.7% | 28.8% | 34 / 无焦点高置信错误 13.6% |
| Flash + V1 | 715 | 74.0% | 99.1% | 95.0% | — | — | 43 / 无焦点高置信错误 — |
自洽率：V0 98.9%；V1 94.3%；V2 链式 93.3%；V2 gold 93.8%。
有上一轮 / 无上一轮（intent；Jev 另给高置信错误）：
| 变体 | 有上一轮 n | intent | 高置信错误 | 无上一轮 n | intent | 高置信错误 |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| Jev V0 | 634 | 77.0% | 14.0% | 81 | 98.8% | 3.7% |
| Jev V1 | 634 | 71.9% | 10.3% | 81 | 98.8% | 2.5% |
| Jev V2 链式 | 634 | 73.2% | 8.8% | 81 | 97.5% | 1.2% |
| Jev V2 gold | 634 | 72.7% | 8.5% | 81 | 98.8% | 1.2% |
| Flash V0 | 634 | 72.9% | — | 81 | 97.5% | — |
| Flash + V1 | 634 | 71.1% | — | 81 | 96.3% | — |
延迟与输入 token（来源 B，第一次）：
| 变体 | 中位 ms | P95 ms | 次均 input tok |
| --- | ---: | ---: | ---: |
| Jev V0 | 1178 | 1376 | 1028.0 |
| Jev V1 | 1187 | 1358 | 1161.8 |
| Jev V2 链式 | 1206 | 1362 | 1313.6 |
| Jev V2 gold | 1207 | 1399 | 1313.0 |
| Flash V0 | 705 | 989 | 492.7 |
| Flash + V1 | 717 | 1016 | 552.8 |
无焦点层 intent：V0 58.2%，V2 链式 46.4%。高置信错误从 32.7% 到 16.4%。
V2 链式承接分：中位 0.16，最大 0.86，≥ 0.9 的 0 条，实际沿用上一轮 intent 的 0 条。
去掉点选回显后，V2 链式 n=565，intent 69.6%，高置信错误 8.3%，低置信召回 28.5%。门槛仍按全量样本。
## 来源 C 回归锚（只 V0，跑一次）
- 点选：来源 C 98.8%，09-19 公布 99.0%，差 -0.25 pp（n=400）。来源 B 75.1%，与来源 C 差 23.7 pp（n=269）。
- 采集：来源 C 92.5%，09-19 公布 92.2%，差 0.3 pp（n=400）。来源 B 89.9%，与来源 C 差 2.6 pp（n=336）。
- 无焦点：来源 C 97.0%，09-19 公布 96.0%，差 1.0 pp（n=100）。来源 B 58.2%，与来源 C 差 38.8 pp（n=110）。
- 来源 C 自洽率：—。
## 无焦点层混淆（来源 B）
计数来自报告 JSON，不含原文。
### V0
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
| --- | ---: | ---: | ---: | ---: | ---: |
| provide_new_evidence | 60 | 0 | 0 | 0 | 0 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 0 | 0 | 2 | 2 | 0 |
| unclear | 1 | 0 | 0 | 2 | 43 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
### V1
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
| --- | ---: | ---: | ---: | ---: | ---: |
| provide_new_evidence | 45 | 0 | 0 | 0 | 15 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 2 | 0 | 0 | 1 | 1 |
| unclear | 11 | 0 | 0 | 3 | 32 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
### V2 链式
| gold \ pred | provide_new_evidence | stop_rectification | ask_about_result | unclear | answer_current_focus |
| --- | ---: | ---: | ---: | ---: | ---: |
| provide_new_evidence | 47 | 0 | 0 | 0 | 13 |
| stop_rectification | 0 | 0 | 0 | 0 | 0 |
| ask_about_result | 1 | 0 | 1 | 1 | 1 |
| unclear | 10 | 0 | 0 | 3 | 33 |
| answer_current_focus | 0 | 0 | 0 | 0 | 0 |
## 写不出的项
来源 B 与来源 C 同层 intent 差 > 10pp
来源 B 的 Jev 八次合计 6887443 input tok，按 $0.042/M 约 $0.2893。来源 C 一次 939273 input tok，约 $0.0394。Flash 两次合计 747581 input tok，不按 Jev 单价计。响应 model：['jev-1.13.0']。