Files

T

ab7f66be14 feat(consult): add an answer-step reasoning effort switch

The switch is off unless CONSULT_ANSWER_REASONING_EFFORT is set, so today's request body stays the same. A set value is sent as top-level reasoning_effort only on the answer step. The real A/B did not run: there is no model key.

Request-body probe, the named frontend tests (114 pass, 0 fail), tsc, and lint (0 errors) were run.

Co-Authored-By: Grok (agent loop)
Co-authored-by: Cursor <cursoragent@cursor.com>

2026-10-15 08:31:19 +08:00

2.3 KiB

Raw Blame History

答题步推理强度（2026-10-15）

没有模型钥匙。下面只是本机拦截到的请求体，不是供应商的接受度，也不是耗时和质量。A/B 未跑。

命令：在 frontend 目录执行 node node_modules/tsx/dist/cli.mjs scripts/research/answer-effort-probe.mts --dry-run。假请求不离开这台机器。模型对象与产品相同：providerId: deepseek，modelId: deepseek-flash，带 url 和假的 apiKey。

请求体里实际有什么

形状	thinking	reasoning_effort	max_tokens
今天的答题设置，第 0 步和第 1 步	`{ type: enabled }`	无	24576
旧的低强度设置（没有产品调用方）	`{ type: enabled, reasoningEffort: low }`	无	10240
新开关 `low` / `medium` / `high` / `max`（只在答题步）	`{ type: enabled }`	与开关相同	24576
续写	`{ type: disabled }`	无	16384

旧的低强度写在 thinking 里面，请求体没有 reasoning_effort。这证实了任务书 §2.3。记为 BUG-1351，状态 investigating。线上不用这处设置。

新开关写在供应商选项的最外层。兼容通道把它写成 reasoning_effort。开关不设时，两步请求体与改前逐字节一致，样本在 frontend/tests/fixtures/answer-effort-switch-20261013.json。

供应商接受度

未跑。没有 DS_KEY / BACKTEST_MODEL_KEY。low、medium、high、max 哪几档能用，要等验收时用临时钥匙跑探针的后半段。

固定 10 题

脚本已能按 --cases 跑下面这 10 题，并能按 --efforts unset,low,medium 把同一题的几档挨着跑。多档同时跑时并发降为 1，因为强度读的是进程里的环境变量，并行会串档。本机没有钥匙，这 10 题没有跑。

#	盘	领域
1	steve_jobs	career
2	barack_obama	parents
3	elizabeth_taylor	marriage
4	marilyn_monroe	parents
5	judy_garland	health
6	edith_piaf	marriage
7	frida_kahlo	health
8	george_w_bush	career
9	zinedine_zidane	career
10	marilyn_monroe	marriage

耗时与质量

没有数。空答、截断、rubric、人工四项都没做。默认值维持不设。

2.3 KiB Raw Blame History Unescape Escape