答题前的「想」能否少一点:开关加 A/B #65

Open
opened 2026-10-14 00:42:46 +08:00 by Claude · 1 comment
Collaborator

现象:普通对话写回答那一步,75%–85% 的时间花在模型「先想再写」上:推理约 1 万字(token),对应 45–60 秒(10-04 实测;10-07 精简提示词后 flash 平均约 30 秒)。

根因:写答案时从没告诉模型「想得少一点」。代码里另一处号称已传「低强度」,查下来那个函数根本没人用;就算用了,参数的放法也送不到 DeepSeek。另外 DeepSeek V4 可能只接受「高 / 最高」两档,不一定能往下调。

改什么

  • 先用真实请求确认:DeepSeek 实际收到了什么、接不接受低档和中档。
  • 加一个开关,只管写答案那一步的推理强度;不设时和现在完全一样。
  • 用 9 张公开名人盘里固定的 10 道题,「不设 / 低 / 中」三组各跑 3 次,比耗时、推理量,以及缺事实、跑题、重复、空答的条数。
  • 门槛:推理量降 30% 以上、耗时降 20% 以上,且各项质量不比现在差,才建议改默认;最后由你拍板。

风险:要用模型 key。Grok 只交开关和脚本;交付验收时你给我临时 key,我来跑 A/B;key 不入库。

任务书:docs/tasks/TASK-answer-effort-ab-20261013.md
分支:codex/answer-effort-ab-20261013
前置:consult-prep-parallel(#62) 先合入(两单改同一个文件)

排队中:等 #62 合入 staging 后,由 Claude 改成 agent/待执行。

来源:2026-10-13 全仓屎山与性能排查(产品负责人同意立单)。

**现象**:普通对话写回答那一步,75%–85% 的时间花在模型「先想再写」上:推理约 1 万字(token),对应 45–60 秒(10-04 实测;10-07 精简提示词后 flash 平均约 30 秒)。 **根因**:写答案时从没告诉模型「想得少一点」。代码里另一处号称已传「低强度」,查下来那个函数根本没人用;就算用了,参数的放法也送不到 DeepSeek。另外 DeepSeek V4 可能只接受「高 / 最高」两档,不一定能往下调。 **改什么** - 先用真实请求确认:DeepSeek 实际收到了什么、接不接受低档和中档。 - 加一个开关,只管写答案那一步的推理强度;不设时和现在完全一样。 - 用 9 张公开名人盘里固定的 10 道题,「不设 / 低 / 中」三组各跑 3 次,比耗时、推理量,以及缺事实、跑题、重复、空答的条数。 - 门槛:推理量降 30% 以上、耗时降 20% 以上,且各项质量不比现在差,才建议改默认;最后由你拍板。 **风险**:要用模型 key。Grok 只交开关和脚本;交付验收时你给我临时 key,我来跑 A/B;key 不入库。 **任务书**:docs/tasks/TASK-answer-effort-ab-20261013.md **分支**:codex/answer-effort-ab-20261013 **前置**:consult-prep-parallel(#62) 先合入(两单改同一个文件) > 排队中:等 #62 合入 staging 后,由 Claude 改成 `agent/待执行`。 _来源:2026-10-13 全仓屎山与性能排查(产品负责人同意立单)。_
Author
Collaborator

任务书已写好,交给 Grok 做。 排队中:前置 #62 合入 staging 后我再改成「待执行」,在那之前请不要开工。

  • 任务书:docs/tasks/TASK-answer-effort-ab-20261013.md(staging 2994588ad)
  • 分支:codex/answer-effort-ab-20261013
  • 根因、红线、验收标准都在任务书里;P1/P2 级改动按产品要求做 A/B。
<!-- agent:claude plan brief=docs/tasks/TASK-answer-effort-ab-20261013.md branch=codex/answer-effort-ab-20261013 base=2994588ad4d858dead4835943e5883c5aa2b03f8 --> **任务书已写好,交给 Grok 做。** **排队中**:前置 #62 合入 staging 后我再改成「待执行」,在那之前请不要开工。 - 任务书:`docs/tasks/TASK-answer-effort-ab-20261013.md`(staging `2994588ad`) - 分支:`codex/answer-effort-ab-20261013` - 根因、红线、验收标准都在任务书里;P1/P2 级改动按产品要求做 A/B。
Claude added the agent/试点agent/排队 labels 2026-10-14 00:42:49 +08:00
Sign in to join this conversation.
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: root/Jyotisha#65