research(rectification): Jev 意图分类离线对照，结论不可接
来源 C 900 条 + jev-1.13.0 双跑。高置信错误 7%、点选题 answer_class 65%。不改线上分类器。
This commit is contained in:
jesse-ux
@@ -0,0 +1,61 @@
|
||||
# 进度 · TypeSafe Jev 意图分类离线对照（2026-09-19）
|
||||
|
||||
- 分支：`codex/rectification-jev-intent-classifier-research-20260919`
|
||||
- 基线：`origin/staging` @ `d9722d56`
|
||||
- 任务书：`docs/tasks/TASK-rectification-jev-intent-classifier-research-20260919.md`
|
||||
- 报告：`docs/research/jev_intent_2026_09_19.md` / `.json`
|
||||
- 未改 `turn-intent-classifier.ts`、`route.ts`、`mastra/model.ts`、模型目录
|
||||
|
||||
## 样本
|
||||
|
||||
| 来源 | n | sha256 | 备注 |
|
||||
| --- | ---: | --- | --- |
|
||||
| A `synthetic.jsonl` | 10 | `79d53a958b3b42ed18c79e3bbcff4b31deb22b65eedcd89b39326a7fefc9b0e8` | 测试文件没有 10 条带期望输出的 `userMessage` 夹具；用 `SHUFFLED_CHOICE` + 采集 prompt + 测试里两句原文 |
|
||||
| B 真机会话 | 0 | — | 无 staging 库凭据。让步 1：代表性检验只报数。本地约定 `G:/Ferti/Jyotisha/.cache/jev_intent/source_b.jsonl` |
|
||||
| C `simulated.jsonl` | 900 | `a8611e75bf56024fa984fb204d34a5e16405f18b3eaa5a3bee91f96e43918bf7` | 点选题 400 / 采集 400 / 无焦点 100，配额偏差 0 |
|
||||
| 争议表 `disputed.jsonl` | 113 | `b4aed8567bd6b3fdd5cc98c73d9139197d62a96120a0ee29f474b8f08c050def` | 争议率 8.5%（1328 次生成），< 15% 门槛 |
|
||||
|
||||
- 问题池：20 例 holdout 走 `discriminating_event_probes`，点选题 103 条（4 例 0 probes：tiger_woods / picasso / freud / albert_brooks）；采集题用 `USER_COLLECT_QUESTION` / retry / `TARGETED_YEAR_PROMPT`。
|
||||
- 生成器：`agent-template-v1`（本机无会话模型凭据，不走线上贵模型；标签先定再写回复）。
|
||||
- 复核器：`agent-rule-v1`（不同规则、看不到目标标签）。
|
||||
- 长度（来源 C）：P25=3 / 中位=11 / P75=25（来源 B 不足，用兜底 P25≤6 / 中位≤15 / P75≤40）。
|
||||
- 真值在 T2 前固化，跑完未改标签。
|
||||
|
||||
## T2 跑次
|
||||
|
||||
- Jev：`jev-1.13.0`，`POST /v1/systemone`，SDK `typesafe-sdk 0.7.0`，三题同一请求。
|
||||
- 时间：2026-09-19，来源 A+C 各 2 次；unavailable = 0。
|
||||
- 现行分类器：未跑（模型 key 在数据库加密配置，本机没有）。
|
||||
|
||||
## 指标（来源 C）
|
||||
|
||||
| 层 | n | intent | answer_class | dated | 高置信错误 | 低置信覆盖 | 低置信召回 | no/unsure | 自洽率 | 中位 ms | P95 ms | 次均 tok |
|
||||
| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
|
||||
| 点选题 | 400 | 88.0% | **65.0%** | 100% | 4.2% | 12.5% | 34.1% | 5 | 98.5% | 923 | 1344 | 1122 |
|
||||
| 采集题 | 400 | 90.5% | 83.6% | 97.0% | **7.0%** | 13.5% | **34.2%** | 22 | 98.0% | 901 | 1026 | 987 |
|
||||
| 无焦点 | 100 | 100% | — | 100% | 0.0% | 4.0% | — | 0 | 100% | 923 | 1018 | 923 |
|
||||
|
||||
来源 A n=10：intent 90.0%，answer_class 85.7%，高置信错误 0。
|
||||
|
||||
两次合计输入约 1.85M tok，按 $0.042/Mtok ≈ $0.08。输出免费。
|
||||
|
||||
## 结论
|
||||
|
||||
**不可接。** 绝对门槛未过：高置信错误 7.0% > 3%；低置信召回 ≈34% < 60%；点选题 `answer_class` 65%。中文口语（「就是那段」「嗯那会儿吧」）和字面理解是主要错因。自洽率高，说明错得稳定，不是随机抖动。
|
||||
|
||||
若接：不接。继续用会话贵模型。只允许 (b) 影子双跑记日志；不得按 confidence 写库。θ=0.9 时高置信错误仍未清零。
|
||||
|
||||
相对 −3pp 因现行模型未跑而无法计算，不改变「不可接」。
|
||||
|
||||
## 偏离
|
||||
|
||||
1. 来源 B = 0：无 staging 库。按让步 1。
|
||||
2. 来源 A：测试文件并无 10 条 `(userMessage, 期望输出)` 夹具，改从该文件的 schema + 两句真实 `userMessage` 构造。
|
||||
3. 来源 C 生成未走会话贵模型（无凭据）。产品口径「Agent 模拟造语料」；生成/复核模型名写进报告。
|
||||
4. Windows 上 worktree `.venv` 是 25 字节 Linux symlink。`typesafe-sdk` 装进本机 Anaconda 3.11.7，未改 `requirements*.txt`。
|
||||
5. 未写 BUG_HISTORY（本单不是 Bug；现行分类器未跑，没有「同一输入稳定分错」的实证）。
|
||||
|
||||
## 验证
|
||||
|
||||
- `python -m pytest tests/test_jev_intent_research.py`：8 passed
|
||||
- 线上分类器文件未改
|
||||
@@ -234,7 +234,7 @@
|
||||
| `TASK-rectification-open-collect-invite-20260914.md` | `PROGRESS-rectification-open-collect-invite-20260914.md` | **P0**：固定七条采集线问完后只说「能问的都问完了」，用户不知道还能补经历、也不知道补了有用；而两轮研究证明补带年月经历是唯一有效手段。产品拍板：交付卡照出 + 卡上给不限领域的补充邀请（先要确切日期，再退年月；举七条线之外的例子），补完必须可见生效（BUG-689） | 待验收 | `codex/rectification-open-collect-invite-20260914` |
|
||||
|
||||
| `TASK-rectification-cluster-width-research-20260914.md` | `PROGRESS-rectification-cluster-width-research-20260914.md` | **研究单**：上一轮证明调权重改不动交付区间宽度——所有方案宽度中位数都等于整个搜索窗。先确认 sweep 的宽度口径是否含淘汰（M0），再画簇结构像（M1），最后量三个改法：放宽簇上限、按分差决定是否合并、交付区间改分位覆盖（M2）。真值覆盖率不得下降 | 待验收 | `codex/rectification-cluster-width-research-20260914` |
|
||||
| `TASK-rectification-jev-intent-classifier-research-20260919.md` | — | **研究单**：TypeSafe Jev（只做 Choice/Score/Noul 的校准判断模型，$0.042/Mtok）能否接管校正流的意图分类。产品 09-19 授权评估（推翻 09-15「分类只用贵模型」需重新拍板）。Agent 模拟校正流造 ≥900 条中文语料（标签先定、独立复核）+ 真机样本做代表性锚，量准确率 / 高置信错误率 / 低置信召回 / 延迟；只离线测，不改线上 | 待领取（T2 等 TypeSafe key） | — |
|
||||
| `TASK-rectification-jev-intent-classifier-research-20260919.md` | `PROGRESS-rectification-jev-intent-classifier-research-20260919.md` | **研究单**：TypeSafe Jev（只做 Choice/Score/Noul 的校准判断模型，$0.042/Mtok）能否接管校正流的意图分类。产品 09-19 授权评估（推翻 09-15「分类只用贵模型」需重新拍板）。Agent 模拟校正流造 ≥900 条中文语料（标签先定、独立复核）+ 真机样本做代表性锚，量准确率 / 高置信错误率 / 低置信召回 / 延迟；只离线测，不改线上 | 待验收 | `codex/rectification-jev-intent-classifier-research-20260919`（结论 **不可接**） |
|
||||
|
||||
| `TASK-rectification-minute-resolution-research-20260914.md` | `PROGRESS-rectification-minute-resolution-research-20260914.md` | **研究单**：候选分不开的根因是打分尺度——窗口内恒定项 11.5 分 vs 随分钟变化项 2.125 分（≈5:1）。先修封存基准（v3 每例仅 3 件事且被标 invalidated）出 v4，再离线量五个改法：分盘除数、去底座、**KP 宫头子主计分（产品 09-14 拍板，推翻 BUG-325 一条红线）**、年精度事件改边际似然、聚类签名层对齐。有收益才立实现单 | 待验收 | `codex/rectification-minute-resolution-research-20260914` |
|
||||
|
||||
|
||||
Reference in New Issue
Block a user