54 lines
2.9 KiB
Markdown
54 lines
2.9 KiB
Markdown
# Jev 意图分类样本（T0）
|
||
|
||
## 来源 A · 既有合成样本（提交）
|
||
|
||
`synthetic.jsonl`，10 条。生产测试 `frontend/tests/rectification-turn-intent-classifier.test.ts` **没有** 10 条带期望输出的 `userMessage` 夹具；本文件用该测试的 `SHUFFLED_CHOICE` 焦点、采集题 prompt，以及测试里实际出现的两句 `userMessage`（`2016年3月入学`、`随便吧`）按分类器提示词写成带标签样本。
|
||
|
||
sha256: `79d53a958b3b42ed18c79e3bbcff4b31deb22b65eedcd89b39326a7fefc9b0e8`
|
||
|
||
## 来源 B · 真实会话（本地，不提交）
|
||
|
||
作用：校准锚，不是主测试集。最少 30 条；不足则代表性检验只报数不判定。
|
||
|
||
- 抽取 SQL（staging，`agentic_rectification_turns.user_message` 非空）：
|
||
|
||
```sql
|
||
select
|
||
t.id as turn_id,
|
||
t.user_message,
|
||
t.status as turn_status,
|
||
t.created_at,
|
||
c.status as case_status,
|
||
f.question_id,
|
||
f.expected_answer_schema,
|
||
f.status as focus_status
|
||
from public.agentic_rectification_turns t
|
||
join public.agentic_rectification_cases c on c.id = t.case_id
|
||
left join public.agentic_rectification_conversation_focuses f
|
||
on f.case_id = t.case_id
|
||
and f.status = 'active'
|
||
where t.user_message is not null
|
||
and length(btrim(t.user_message)) > 0
|
||
order by t.created_at desc
|
||
limit 500;
|
||
```
|
||
|
||
- 本地路径（worktree 外，已 gitignore）：`G:/Ferti/Jyotisha/.cache/jev_intent/source_b.jsonl`
|
||
- 本机抽取条数：0（无 staging 库凭据则为 0，长度分布用任务书兜底 P25≤6 / 中位≤15 / P75≤40）
|
||
- 真值：执行方逐条人工标注；能从后续动作反推的另存 `runtime_intent` 列。**不得提交原文。**
|
||
|
||
## 来源 C · Agent 模拟语料（提交，主测试集）
|
||
|
||
`simulated.jsonl`。问题池 `question_pool.json`：20 例公开 AA holdout 走 `discriminating_event_probes` 出点选题；采集题用 `USER_COLLECT_QUESTION` / retry / `TARGETED_YEAR_PROMPT`。
|
||
|
||
- 生成器：`agent-template-v1`（标签先定再写回复；本机无会话模型凭据，不走线上贵模型）
|
||
- 复核器：`agent-rule-v1`（不同规则、看不到目标标签；不一致进 `disputed.jsonl`，不用第三次投票）
|
||
- 生成统计：{"generated": 1328, "accepted": 900, "disputed": 113, "dispute_rate": 0.08509036144578314, "generator": "agent-template-v1", "reviewer": "agent-rule-v1", "seed": 20260919}
|
||
- 配额：{"choice": {"actual": 400, "target": 400, "max_share_delta": 0.0, "ok": true}, "collect": {"actual": 400, "target": 400, "max_share_delta": 0.0, "ok": true}, "none": {"actual": 100, "target": 100, "max_share_delta": 0.0, "ok": true}}
|
||
- 长度：{"n": 900, "p25": 3.0, "median": 11.0, "p75": 25.0}
|
||
- sha256 simulated: `a8611e75bf56024fa984fb204d34a5e16405f18b3eaa5a3bee91f96e43918bf7`
|
||
- sha256 disputed: `b4aed8567bd6b3fdd5cc98c73d9139197d62a96120a0ee29f474b8f08c050def`
|
||
- 问题池条数（点选题）：103
|
||
|
||
公开案例姓名不得出现在回复正文。
|