research(rectification): DeepSeek Flash 抽 33% 对照现行分类器提示词
Independent Staging Quality Gate / validate (push) Successful in 10m16s
Independent Staging Quality Gate / publish (push) Successful in 3m57s

来源 B 仍为 0。Flash 套生产提示词,采集题相对门槛未过。结论仍不可接。
This commit is contained in:
jesse-ux
2026-09-19 09:45:29 +08:00
parent fde541c2ca
commit d6fc4fb8b3
7 changed files with 8610 additions and 527 deletions
File diff suppressed because it is too large Load Diff
+17 -3
View File
@@ -9,7 +9,7 @@
## 结论
**不可接**。来源 C 上 Jev 的绝对门槛未过:高置信错误率 7.0% > 3%;低置信召回 34.1% / 34.2% < 60%(错了却仍高置信);点选题 `answer_class` 准确率 65.0%(写库字段)。来源 B 不足 30 条,代表性检验只报数、不判定。现行模型对照未跑,相对 −3pp 门槛无法计算。
**不可接**。来源 C 上 Jev 的绝对门槛未过:高置信错误率 7.0% > 3%;低置信召回 34.1% / 34.2% < 60%(错了却仍高置信);点选题 answer_class 准确率 65.0%(写库字段)。来源 B 不足 30 条,代表性检验只报数、不判定。 相对 −3pp(同一样本):choice Jev 89.5% vs 现行 92.5%(门槛 89.5%,过);collect Jev 91.0% vs 现行 95.5%(门槛 92.5%,未过);none Jev 100.0% vs 现行 97.0%(门槛 94.0%,过)。
若接:不接。现行分类器继续用会话选定的贵模型。若还要观察中文口语,只允许 (b) 影子双跑只记日志,不得按 confidence 写库。曲线上 θ=0.9 时高置信错误仍未清零。
@@ -21,11 +21,25 @@
| collect | 400 | 90.5% | 83.6% | 97.0% | 7.0% | 13.5% | 34.2% | 22 | 98.0% | 901 | 1026 | 987 |
| none | 100 | 100.0% | — | 100.0% | 0.0% | 4.0% | — | 0 | 100.0% | 923 | 1018 | 923 |
来源 A(测试夹具,n=10):intent 90.0%,answer_class 85.7%,高置信错误 0.0%。
来源 A(测试夹具,n=10)intent 90.0%,answer_class 85.7%,高置信错误 0.0%。
## 现行模型对照
本机无会话模型目录凭据(模型 key 在数据库加密配置里)。现行 `classifyRectificationTurnIntent` 对照未跑。
模型:`deepseek-flash`。DeepSeek Flash 顶现行 `classifyRectificationTurnIntent` 提示词;来源 C 分层随机 33%(seed 20260919),来源 A 全量。不是线上会话模型。
| 层 | n | intent | answer_class | dated | 自洽率 | 中位 ms |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| choice | 133 | 92.5% | 83.0% | 100.0% | 100.0% | 638 |
| collect | 133 | 95.5% | 95.8% | 97.7% | 95.5% | 611 |
| none | 33 | 97.0% | — | 100.0% | 100.0% | 705 |
同一样本上 Jev vs 现行(相对门槛用这一表):
| 层 | n | Jev intent | 现行 intent | 差(Jev−现行) | 门槛现行−3pp |
| --- | ---: | ---: | ---: | ---: | ---: |
| choice | 133 | 89.5% | 92.5% | -3.0% | 89.5% |
| collect | 133 | 91.0% | 95.5% | -4.5% | 92.5% |
| none | 33 | 100.0% | 97.0% | 3.0% | 94.0% |
## 代表性检验(来源 B vs 来源 C)