Files
Jyotisha/docs/testing/answer-effort-ab-20261013.md
T
jesse-uxandGrok (agent loop) 9324253408 fix(consult): move the answer-effort probe out of the image build
The dry-run script lived under frontend/scripts and read a test fixture, so the web image build would type-check a file the image does not copy. Move it to frontend/tests with a non-test filename. The switch default is unchanged.

Checked: guard plus answer-effort tests 5 pass, 0 fail, 0 cancelled; probe --dry-run exit 0; tsc exit 0; lint 0 errors and 123 warnings.

Co-Authored-By: Grok (agent loop)
2026-10-15 10:56:22 +08:00

2.4 KiB
Raw Blame History

答题步推理强度(2026-10-15)

没有模型钥匙。下面只是本机拦截到的请求体,不是供应商的接受度,也不是耗时和质量。A/B 未跑。

命令:在 frontend 目录执行 node node_modules/tsx/dist/cli.mjs tests/answer-effort-probe.mts --dry-run。假请求不离开这台机器。模型对象与产品相同:providerId: deepseek,modelId: deepseek-flash,带 url 和假的 apiKey。2026-10-15 起脚本在 frontend/tests/,不再放在 frontend/scripts/research/。

请求体里实际有什么

形状 thinking reasoning_effort max_tokens
今天的答题设置,第 0 步和第 1 步 { type: enabled } 无 24576
旧的低强度设置(没有产品调用方) { type: enabled, reasoningEffort: low } 无 10240
新开关 low / medium / high / max(只在答题步) { type: enabled } 与开关相同 24576
续写 { type: disabled } 无 16384

旧的低强度写在 thinking 里面,请求体没有 reasoning_effort。这证实了任务书 §2.3。记为 BUG-1354,状态 investigating。原先写成 BUG-1351,该号已被数据层占用。线上不用这处设置。

新开关写在供应商选项的最外层。兼容通道把它写成 reasoning_effort。开关不设时,两步请求体与改前逐字节一致,样本在 frontend/tests/fixtures/answer-effort-switch-20261013.json。

供应商接受度

未跑。没有 DS_KEY / BACKTEST_MODEL_KEY。low、medium、high、max 哪几档能用,要等验收时用临时钥匙跑探针的后半段。

固定 10 题

脚本已能按 --cases 跑下面这 10 题,并能按 --efforts unset,low,medium 把同一题的几档挨着跑。多档同时跑时并发降为 1,因为强度读的是进程里的环境变量,并行会串档。本机没有钥匙,这 10 题没有跑。

# 盘 领域
1 steve_jobs career
2 barack_obama parents
3 elizabeth_taylor marriage
4 marilyn_monroe parents
5 judy_garland health
6 edith_piaf marriage
7 frida_kahlo health
8 george_w_bush career
9 zinedine_zidane career
10 marilyn_monroe marriage

耗时与质量

没有数。空答、截断、rubric、人工四项都没做。默认值维持不设。