research(jev-intent): 修复轮重造语料并全量对照
来源 C 改为 DeepSeek Flash 生成+独立复核,撤回模板拼接结论。来源 B 157 条人工标注后跑 Jev x2 与 Flash 全量对照,结论为缺数据。
This commit is contained in:
+6
-8
@@ -3,19 +3,17 @@
|
||||
## ~~TypeSafe Jev 意图分类:等 API key(2026-09-19)~~
|
||||
|
||||
- ~~T2/T3 阻塞,替代证据 = T0/T1 产出。~~
|
||||
- **解除(2026-09-19):** 产品提供 `TYPESAFE_API_KEY`,T2 已用 `jev-1.13.0` 跑完来源 A+C 各两次。结论见 `docs/research/jev_intent_2026_09_19.md`:**不可接**。
|
||||
- **解除(2026-09-19):** 产品提供 `TYPESAFE_API_KEY`,T2 已用 `jev-1.13.0` 跑完来源 A+C 各两次。首版结论作废(语料为模板拼接)。
|
||||
- **修复轮(2026-09-19):** 来源 C 由 DeepSeek Flash 生成+复核后重跑。结论见 `docs/research/jev_intent_2026_09_19.md`:**缺数据**。
|
||||
|
||||
## 生时校正 Jev 研究:无 staging 库,来源 B = 0(2026-09-19)
|
||||
## ~~生时校正 Jev 研究:无 staging 库,来源 B = 0(2026-09-19)~~
|
||||
|
||||
- **缺的是什么:** staging `agentic_rectification_turns.user_message` 非空样本。本机没有 `SCHEMA_DATABASE_URL` / `.env.staging.database`。
|
||||
- **替代:** 按任务书让步 1,代表性检验只报数、不判定。来源 C 照常跑。抽取 SQL 与本地路径写在 `scripts/research/jev_intent_samples/README.md`(`G:/Ferti/Jyotisha/.cache/jev_intent/source_b.jsonl`,gitignore)。
|
||||
- **解除需要:** 只读抽 ≥30 条非空 `user_message`(含当轮焦点 schema 与后续动作),执行方逐条人工标注。不得提交原文。
|
||||
- ~~缺 staging `agentic_rectification_turns` 样本。~~
|
||||
- **解除(2026-09-19 修复轮):** 产品转交 `source_b.jsonl` 157 条(点选 17 / 采集 107 / 无焦点 33),执行方逐条人工标注 gold,未提交原文。Jev×2 + Flash×1 已跑。无焦点层与来源 C intent 差 17.2pp > 10pp,结论为缺数据。
|
||||
|
||||
## ~~生时校正 Jev 研究:无会话模型凭据,现行分类器未对照(2026-09-19)~~
|
||||
|
||||
- **部分解除(2026-09-19):** 产品提供 DeepSeek key,用 `deepseek-flash` 套生产 `classifyRectificationTurnIntent` 提示词,来源 C 分层随机 33% + 来源 A 全量。相对门槛采集题未过(91.0% < 92.5%)。绝对门槛仍判 **不可接**。
|
||||
- **仍缺:** 线上会话默认贵模型(数据库加密配置)未跑;这是替代对照,不是生产模型。
|
||||
- 来源 B 仍为 0,见上条。
|
||||
- **解除(2026-09-19 修复轮):** 产品确认线上会话模型 = DeepSeek Flash。生成、复核、对照均用该模型(提示不同)。来源 C 全量一次 + 1/3 第二次;来源 B 全量一次。原「无会话模型凭据」缺口关闭。
|
||||
|
||||
## 会话列表:元数据操作未上移到 provider(2026-09-17,BUG-927 让步)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user