feat(consult): add an answer-step reasoning effort switch
The switch is off unless CONSULT_ANSWER_REASONING_EFFORT is set, so today's request body stays the same. A set value is sent as top-level reasoning_effort only on the answer step. The real A/B did not run: there is no model key. Request-body probe, the named frontend tests (114 pass, 0 fail), tsc, and lint (0 errors) were run. Co-Authored-By: Grok (agent loop) Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
jesse-ux
co-authored by
Grok (agent loop)
Cursor
Grok (agent loop)
Cursor
parent
9274491681
commit
ab7f66be14
@@ -36131,3 +36131,19 @@
|
||||
- 相关记录：BUG-203（锁文件，不是这一条）、BUG-1063（人物表列级读取权）、BUG-1348。
|
||||
- 复发自：无。
|
||||
- 修复版本：分支 `codex/release-path-production-20261014`。编号接在 BUG-1349 之后。
|
||||
|
||||
## BUG-1351 | 低强度推理设置写在嵌套字段里，供应商收不到
|
||||
|
||||
- 状态：investigating
|
||||
- 首次发现 / 最近更新：2026-10-13 / 2026-10-15
|
||||
- 来源：issue #65。任务书 `docs/tasks/TASK-answer-effort-ab-20261013.md`。请求体拦截见 `docs/testing/answer-effort-ab-20261013.md`。
|
||||
- 现象：代码里有一处把推理强度写成 `low`，但真正发出去的请求没有 `reasoning_effort` 这个字段。强度被包在 `thinking` 里面。
|
||||
- 触发条件：调用 `consultationSliceGenerationSettings`。产品代码里没有调用方，线上对话不受影响。
|
||||
- 根因：兼容通道只认供应商选项最外层的 `reasoningEffort`，并把它写成 `reasoning_effort`。嵌在 `thinking` 里的同名键会原样送出去，供应商不把它当强度。
|
||||
- 修复：本单不改这处形状，也不改它的两条断言。答题步的新开关写在最外层。要不要删掉或改掉这处旧形状，等产品拍板。
|
||||
- 验证：`frontend/scripts/research/answer-effort-probe.mts --dry-run`。这处设置的请求体是 `thinking.reasoningEffort = "low"`，`reasoning_effort` 为空。新开关设成 `low` 时，答题步请求体有 `reasoning_effort: "low"`。
|
||||
- 防复发：新测试锁住「开关不设时请求体与改前一致」，并锁住新强度出现在最外层。
|
||||
- 相关记录：BUG-148、BUG-1142。
|
||||
- 复发自：无。
|
||||
- 修复版本：未修。分支 `codex/answer-effort-ab-20261013` 只记录。编号接在 BUG-1350 之后。
|
||||
|
||||
|
||||
@@ -0,0 +1,43 @@
|
||||
# PROGRESS · 答题步推理强度开关（2026-10-15）
|
||||
|
||||
- 分支：`codex/answer-effort-ab-20261013`
|
||||
- 实际基线：`origin/staging` `9274491681f6fcacbc87e3797441d2c5221de874`
|
||||
- 前置 `consult-prep-parallel` 已在 `origin/staging` 上（`git merge-base --is-ancestor` 退出码 0）
|
||||
- 默认行为不变。没有模型钥匙，A/B 未跑。
|
||||
|
||||
## 做了什么
|
||||
|
||||
1. 新环境变量 `CONSULT_ANSWER_REASONING_EFFORT`。`low` / `medium` / `high` / `max` 才生效。空着或没设，请求体与改前一致。非法值 `console.warn` 一次，然后当作没设。
|
||||
2. `agentGenerationSettings` 增加 `providerReasoningEffort`。它写在供应商选项的最外层，兼容通道据此发出 `reasoning_effort`。原来的 `reasoningEffort` 仍嵌在 `thinking` 里，切片那两条断言不用改。
|
||||
3. 答题步才带这个字段。判据与答案时钟相同：计算结果已经在手（`answerReady`），或者公开日历从第一步就是答题（`answerFromStart`）。主循环第 0 步计算结果还没到，不带。重试是新的一轮，步号从 0 重新计，但计算结果已经在手，所以重试的第 0 步也带。续写仍是关闭思考，不带这个字段。
|
||||
4. Mastra 的 `prepareStep` 会按步合并 `providerOptions`（`mergeObjects`）。答题步返回的强度会并进这一步，不会整轮都带。本单按步生效，没有改成整轮。
|
||||
5. 生平回测脚本增加 `--cases figure:domain,…` 和 `--efforts unset,low,medium`。每行记下端到端秒数、第 0 / 1 步秒数和推理 token、输出 token、结束原因、是否空答、是否截断、正文字数。摘要记下当次强度。
|
||||
|
||||
## 自测
|
||||
|
||||
| 检查 | 命令 | 结果 |
|
||||
| --- | --- | --- |
|
||||
| 请求体拦截 | `node node_modules/tsx/dist/cli.mjs scripts/research/answer-effort-probe.mts --dry-run` | 退出码 0。数字见 `docs/testing/answer-effort-ab-20261013.md` |
|
||||
| 本单测试与任务书点名的四份 | `node node_modules/tsx/dist/cli.mjs --test` 后接 `answer-effort-switch-20261013`、`consultation-agentic-runtime`、`consultation-workflow-contract`、`consult-answer-clock-20261001`、`consult-latency-timing-20261005` | 114 pass，0 fail，0 cancelled |
|
||||
| 类型检查 | 在 `frontend` 下 `.\node_modules\.bin\tsc --noEmit -p .` | 退出码 0 |
|
||||
| lint | 在 `frontend` 下 `npm run lint` | 退出码 0，0 error，123 条原有 warning。探针里多出来的 1 条未使用变量已去掉，改过的文件再跑 eslint 是 0 |
|
||||
|
||||
开关不设时，两步请求体与改前保存的整份 JSON 逐字节一致。设 `low` 时只有答题步出现 `reasoning_effort: "low"`，第 0 步没有；续写仍是 `thinking: disabled` 且没有 `reasoning_effort`。
|
||||
|
||||
## 改既有断言
|
||||
|
||||
| 原值 | 新值 | 原因 |
|
||||
| --- | --- | --- |
|
||||
| `await streamWithOverflowRetry(agent)` | `await streamWithOverflowRetry(agent, generalStreamOptions)` | 公开日历从第一步就是答题。不传选项就没有 `prepareStep`，强度加不上去。开关不设时这些选项不改请求体。答案时钟的断言还在。 |
|
||||
|
||||
切片的嵌套形状和它的两条断言没有改。
|
||||
|
||||
## 需拍板
|
||||
|
||||
- 默认强度。本单不改。有钥匙的验收按任务书 T3 出数之后，再决定设不设、设哪一档。部署默认写在哪里也留到那次。
|
||||
- `consultationSliceGenerationSettings` 删掉还是改成最外层。它没有调用方。本单不改。见 BUG-1351。
|
||||
- 若供应商不接受降档，对照组 D（答题步关思考）只供参考，采用与否另说。本机没跑。
|
||||
|
||||
## 环境缺口
|
||||
|
||||
A/B 未跑：缺模型 key。没有 `DS_KEY`，也没有 `BACKTEST_MODEL_KEY`。
|
||||
@@ -483,7 +483,7 @@
|
||||
| `TASK-frontend-dead-code-20261013.md` | `PROGRESS-frontend-dead-code-20261013.md` | 前端死代码 17 文件与无调用方接口删除，含未登录重计算接口（BUG-1342） | 待验收 | `codex/frontend-dead-code-20261013` |
|
||||
| `TASK-frontend-dead-code-fix-20261014.md` | `PROGRESS-frontend-dead-code-20261013.md` | **#63 第 1 次打回**：类名白名单去掉已删组件留下的条目 | 待验收 | `codex/frontend-dead-code-20261013` |
|
||||
| `TASK-api-chart-subprocess-gate-20261013.md` | — | 合盘不带 skip 串行排盘、报告无效子进程、名额轻重混用（只模拟）（BUG-1333～1334，A/B） | 待领取（排队：api-disk-cache-retention + report-reference-perf） | `codex/api-chart-subprocess-gate-20261013` |
|
||||
| `TASK-answer-effort-ab-20261013.md` | — | 答题步推理强度开关 + A/B（需模型 key） | 待领取（排队：consult-prep-parallel） | `codex/answer-effort-ab-20261013` |
|
||||
| `TASK-answer-effort-ab-20261013.md` | `PROGRESS-answer-effort-ab-20261013.md` | 答题步推理强度开关 + A/B（需模型 key） | 待验收 | `codex/answer-effort-ab-20261013` |
|
||||
| `TASK-consult-route-split-20261013.md` | — | consult POST 拆分第一阶段：开流前加载 + 计费结算 | 待领取（排队：consult-prep-parallel、answer-effort-ab） | `codex/consult-route-split-20261013` |
|
||||
| `TASK-pl9-render-split-20261013.md` | — | render_pl9_markdown 第一阶段：搬出无依赖内部函数 | 待领取（排队：api-chart-subprocess-gate） | `codex/pl9-render-split-20261013` |
|
||||
| `TASK-python-hygiene-20261013.md` | — | 免费层排队开关报反、静默吞异常、功能吉凶兜底合一、测试专用脚本归位（BUG-1340） | 待领取（排队：pl9-render-split） | `codex/python-hygiene-20261013` |
|
||||
|
||||
@@ -0,0 +1,43 @@
|
||||
# 答题步推理强度（2026-10-15）
|
||||
|
||||
没有模型钥匙。下面只是本机拦截到的请求体，不是供应商的接受度，也不是耗时和质量。A/B 未跑。
|
||||
|
||||
命令：在 `frontend` 目录执行 `node node_modules/tsx/dist/cli.mjs scripts/research/answer-effort-probe.mts --dry-run`。假请求不离开这台机器。模型对象与产品相同：`providerId: deepseek`，`modelId: deepseek-flash`，带 `url` 和假的 `apiKey`。
|
||||
|
||||
## 请求体里实际有什么
|
||||
|
||||
| 形状 | thinking | reasoning_effort | max_tokens |
|
||||
| --- | --- | --- | --- |
|
||||
| 今天的答题设置，第 0 步和第 1 步 | `{ type: enabled }` | 无 | 24576 |
|
||||
| 旧的低强度设置（没有产品调用方） | `{ type: enabled, reasoningEffort: low }` | 无 | 10240 |
|
||||
| 新开关 `low` / `medium` / `high` / `max`（只在答题步） | `{ type: enabled }` | 与开关相同 | 24576 |
|
||||
| 续写 | `{ type: disabled }` | 无 | 16384 |
|
||||
|
||||
旧的低强度写在 `thinking` 里面，请求体没有 `reasoning_effort`。这证实了任务书 §2.3。记为 BUG-1351，状态 investigating。线上不用这处设置。
|
||||
|
||||
新开关写在供应商选项的最外层。兼容通道把它写成 `reasoning_effort`。开关不设时，两步请求体与改前逐字节一致，样本在 `frontend/tests/fixtures/answer-effort-switch-20261013.json`。
|
||||
|
||||
## 供应商接受度
|
||||
|
||||
未跑。没有 `DS_KEY` / `BACKTEST_MODEL_KEY`。`low`、`medium`、`high`、`max` 哪几档能用，要等验收时用临时钥匙跑探针的后半段。
|
||||
|
||||
## 固定 10 题
|
||||
|
||||
脚本已能按 `--cases` 跑下面这 10 题，并能按 `--efforts unset,low,medium` 把同一题的几档挨着跑。多档同时跑时并发降为 1，因为强度读的是进程里的环境变量，并行会串档。本机没有钥匙，这 10 题没有跑。
|
||||
|
||||
| # | 盘 | 领域 |
|
||||
| --- | --- | --- |
|
||||
| 1 | steve_jobs | career |
|
||||
| 2 | barack_obama | parents |
|
||||
| 3 | elizabeth_taylor | marriage |
|
||||
| 4 | marilyn_monroe | parents |
|
||||
| 5 | judy_garland | health |
|
||||
| 6 | edith_piaf | marriage |
|
||||
| 7 | frida_kahlo | health |
|
||||
| 8 | george_w_bush | career |
|
||||
| 9 | zinedine_zidane | career |
|
||||
| 10 | marilyn_monroe | marriage |
|
||||
|
||||
## 耗时与质量
|
||||
|
||||
没有数。空答、截断、rubric、人工四项都没做。默认值维持不设。
|
||||
Reference in New Issue
Block a user