3.9 KiB
3.9 KiB
进度 · TypeSafe Jev 意图分类离线对照（2026-09-19）
- 分支：
codex/rectification-jev-intent-classifier-research-20260919 - 基线：
origin/staging@d9722d56 - 任务书：
docs/tasks/TASK-rectification-jev-intent-classifier-research-20260919.md - 报告：
docs/research/jev_intent_2026_09_19.md/.json - 未改
turn-intent-classifier.ts、route.ts、mastra/model.ts、模型目录
样本
| 来源 | n | sha256 | 备注 |
|---|---|---|---|
A synthetic.jsonl |
10 | 79d53a958b3b42ed18c79e3bbcff4b31deb22b65eedcd89b39326a7fefc9b0e8 |
测试文件没有 10 条带期望输出的 userMessage 夹具；用 SHUFFLED_CHOICE + 采集 prompt + 测试里两句原文 |
| B 真机会话 | 0 | — | 无 staging 库凭据。让步 1：代表性检验只报数。本地约定 G:/Ferti/Jyotisha/.cache/jev_intent/source_b.jsonl |
C simulated.jsonl |
900 | a8611e75bf56024fa984fb204d34a5e16405f18b3eaa5a3bee91f96e43918bf7 |
点选题 400 / 采集 400 / 无焦点 100，配额偏差 0 |
争议表 disputed.jsonl |
113 | b4aed8567bd6b3fdd5cc98c73d9139197d62a96120a0ee29f474b8f08c050def |
争议率 8.5%（1328 次生成），< 15% 门槛 |
- 问题池：20 例 holdout 走
discriminating_event_probes，点选题 103 条（4 例 0 probes：tiger_woods / picasso / freud / albert_brooks）；采集题用USER_COLLECT_QUESTION/ retry /TARGETED_YEAR_PROMPT。 - 生成器：
agent-template-v1（本机无会话模型凭据，不走线上贵模型；标签先定再写回复）。 - 复核器：
agent-rule-v1（不同规则、看不到目标标签）。 - 长度（来源 C）：P25=3 / 中位=11 / P75=25（来源 B 不足，用兜底 P25≤6 / 中位≤15 / P75≤40）。
- 真值在 T2 前固化，跑完未改标签。
T2 跑次
- Jev：
jev-1.13.0，POST /v1/systemone，SDKtypesafe-sdk 0.7.0，三题同一请求。 - 时间：2026-09-19，来源 A+C 各 2 次；unavailable = 0。
- 现行分类器：未跑（模型 key 在数据库加密配置，本机没有）。
指标（来源 C）
| 层 | n | intent | answer_class | dated | 高置信错误 | 低置信覆盖 | 低置信召回 | no/unsure | 自洽率 | 中位 ms | P95 ms | 次均 tok |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 点选题 | 400 | 88.0% | 65.0% | 100% | 4.2% | 12.5% | 34.1% | 5 | 98.5% | 923 | 1344 | 1122 |
| 采集题 | 400 | 90.5% | 83.6% | 97.0% | 7.0% | 13.5% | 34.2% | 22 | 98.0% | 901 | 1026 | 987 |
| 无焦点 | 100 | 100% | — | 100% | 0.0% | 4.0% | — | 0 | 100% | 923 | 1018 | 923 |
来源 A n=10：intent 90.0%，answer_class 85.7%，高置信错误 0。
两次合计输入约 1.85M tok，按 $0.042/Mtok ≈ $0.08。输出免费。
结论
不可接。 绝对门槛未过：高置信错误 7.0% > 3%；低置信召回 ≈34% < 60%；点选题 answer_class 65%。中文口语（「就是那段」「嗯那会儿吧」）和字面理解是主要错因。自洽率高，说明错得稳定，不是随机抖动。
若接：不接。继续用会话贵模型。只允许 (b) 影子双跑记日志；不得按 confidence 写库。θ=0.9 时高置信错误仍未清零。
相对 −3pp 因现行模型未跑而无法计算，不改变「不可接」。
偏离
- 来源 B = 0：无 staging 库。按让步 1。
- 来源 A：测试文件并无 10 条
(userMessage, 期望输出)夹具，改从该文件的 schema + 两句真实userMessage构造。 - 来源 C 生成未走会话贵模型（无凭据）。产品口径「Agent 模拟造语料」；生成/复核模型名写进报告。
- Windows 上 worktree
.venv是 25 字节 Linux symlink。typesafe-sdk装进本机 Anaconda 3.11.7，未改requirements*.txt。 - 未写 BUG_HISTORY（本单不是 Bug；现行分类器未跑，没有「同一输入稳定分错」的实证）。
验证
python -m pytest tests/test_jev_intent_research.py：8 passed- 线上分类器文件未改