root/Jyotisha
1
0
Fork 0
Code Issues 104 Pull Requests Actions Packages Projects Releases Wiki Activity

咨询答题时压低模型的思考量（先做对比测试） #134

New Issue
Open
opened 2026-10-28 06:02:58 +08:00 by Claude · 4 comments
Claude commented 2026-10-28 06:02:58 +08:00
Collaborator
Copy Link
Copy Source

来自 #118 代码体检（体检第 1 条），清单第 15 单。由 Claude 直接实现，不交 Grok。

问题

consultAnswerReasoningEffort 不设环境变量就返回 undefined，部署配置里没设；10-04 量到的答题步推理约 1 万 token（约 45～60 s）至今仍在。对比测试（TASK-answer-effort-ab）因没有模型 key 一直 BLOCKED。

改法

产品提供模型 key（不得贴进 issue 或仓库），按 TASK-answer-effort-ab 跑 T3 对比；产品看结果定档后写进部署配置。代码不改。

验收标准

对比报告：答题步推理 token 中位数与写正文用时下降；回答质量盲评不劣于基线；产品定档。

规矩

  • 基于 origin/staging，独立工作树 codex/*；只改这一件事。
  • BUG 号开工时按 docs/BUG_HISTORY.md 全文件取最大号 +1。
  • 同时改 frontend/src/app/(app)/page.tsx 的单按清单顺序串行。
  • 体检报告：docs/research/code_health_audit_2026_10_28.md（staging a31b6dda3）
来自 #118 代码体检（体检第 1 条），清单第 15 单。**由 Claude 直接实现，不交 Grok。** ## 问题 `consultAnswerReasoningEffort` 不设环境变量就返回 undefined，部署配置里没设；10-04 量到的答题步推理约 1 万 token（约 45～60 s）至今仍在。对比测试（TASK-answer-effort-ab）因没有模型 key 一直 BLOCKED。 ## 改法 产品提供模型 key（**不得贴进 issue 或仓库**），按 TASK-answer-effort-ab 跑 T3 对比；产品看结果定档后写进部署配置。代码不改。 ## 验收标准 对比报告：答题步推理 token 中位数与写正文用时下降；回答质量盲评不劣于基线；产品定档。 ## 规矩 - 基于 origin/staging，独立工作树 `codex/*`；只改这一件事。 - BUG 号开工时按 `docs/BUG_HISTORY.md` 全文件取最大号 +1。 - 同时改 `frontend/src/app/(app)/page.tsx` 的单按清单顺序串行。 - 体检报告：`docs/research/code_health_audit_2026_10_28.md`（staging `a31b6dda3`）
Claude added the agent/试点agent/排队 labels 2026-10-28 06:03:04 +08:00
Claude commented 2026-10-28 12:47:07 +08:00
Author
Collaborator
Copy Link
Copy Source

@jesse 用你给的模型密钥把对比测试跑完了。密钥只存在本机一个只有本人能读的文件里，没有进仓库、日志或任何单子。用的是公开名人的盘，回答原文没入库。

先说结论：建议把答题时的思考量设成「低」（low）。回答快了约四成，质量没看出变差。 需要你拍板。

现在（不设） 设成「低」
答题时的思考量（中位数） 5,749 3,159（少 45%）
一轮回答用时（中位数） 34 秒 22 秒（快 37%）
空答 / 截断 / 中途失败 0 / 0 / 0 0 / 0 / 0
规则里明令不许出现的话 0 0
  • 上表是 deepseek-flash：10 道固定题，每题 3 次，每组 30 份回答。deepseek-v4-pro 抽 3 题各 3 次：思考量少 49%，用时从 80 秒降到 47 秒，同样没有空答和截断。
  • 质量：10 道题的第 1 次，两组回答我逐份并排读了（20 份）。两组结构一样，引用的宫位、宫主、分盘、大运区间基本相同，「低」那组没有漏掉要点，有几题反而多写了一层细节。缺事实、跑题、重复、空答都是 0 比 0。第 2、3 次只做了自动检查，没有逐份读。
  • 有两处小瑕疵都在「低」那组：一份回答里出现了一句规则不推荐的「逆行所以走得慢」说法；另一份多了一个错字。
  • 「中」「高」两档供应商其实不理会，和不设一样，所以没有测。
  • 任务书定的五条门槛全部满足。完整数字写进了 docs/testing/answer-effort-ab-20261013.md（随下一批一起推上 staging）。

要你定的：

  • A（推荐）：默认设成「低」。我在 staging 和正式环境的部署配置里各加一行 CONSULT_ANSWER_REASONING_EFFORT=low。想退回，删掉这一行就行。
  • B：先只在 staging 设，你自己问几轮看看感觉，再决定正式环境。
  • C：维持不设。
<!-- agent:claude escalate --> @jesse 用你给的模型密钥把对比测试跑完了。密钥只存在本机一个只有本人能读的文件里，没有进仓库、日志或任何单子。用的是公开名人的盘，回答原文没入库。 **先说结论：建议把答题时的思考量设成「低」（`low`）。回答快了约四成，质量没看出变差。** 需要你拍板。 | | 现在（不设） | 设成「低」 | | --- | --- | --- | | 答题时的思考量（中位数） | 5,749 | 3,159（少 45%） | | 一轮回答用时（中位数） | 34 秒 | 22 秒（快 37%） | | 空答 / 截断 / 中途失败 | 0 / 0 / 0 | 0 / 0 / 0 | | 规则里明令不许出现的话 | 0 | 0 | - 上表是 `deepseek-flash`：10 道固定题，每题 3 次，每组 30 份回答。`deepseek-v4-pro` 抽 3 题各 3 次：思考量少 49%，用时从 80 秒降到 47 秒，同样没有空答和截断。 - **质量**：10 道题的第 1 次，两组回答我逐份并排读了（20 份）。两组结构一样，引用的宫位、宫主、分盘、大运区间基本相同，「低」那组没有漏掉要点，有几题反而多写了一层细节。缺事实、跑题、重复、空答都是 0 比 0。第 2、3 次只做了自动检查，没有逐份读。 - 有两处小瑕疵都在「低」那组：一份回答里出现了一句规则不推荐的「逆行所以走得慢」说法；另一份多了一个错字。 - 「中」「高」两档供应商其实不理会，和不设一样，所以没有测。 - 任务书定的五条门槛全部满足。完整数字写进了 `docs/testing/answer-effort-ab-20261013.md`（随下一批一起推上 staging）。 **要你定的**： - **A（推荐）**：默认设成「低」。我在 staging 和正式环境的部署配置里各加一行 `CONSULT_ANSWER_REASONING_EFFORT=low`。想退回，删掉这一行就行。 - **B**：先只在 staging 设，你自己问几轮看看感觉，再决定正式环境。 - **C**：维持不设。
Claude added agent/需拍板 and removed agent/排队 labels 2026-10-28 12:47:11 +08:00
jesse commented 2026-10-28 13:25:36 +08:00
Owner
Copy Link
Copy Source

同意A

同意A
jesse added agent/待规划 and removed agent/需拍板 labels 2026-10-28 13:25:48 +08:00
Claude added the agent/规划中 label 2026-10-29 10:54:28 +08:00
Claude commented 2026-10-29 11:01:09 +08:00
Author
Collaborator
Copy Link
Copy Source

按你选的 A 做好了，已推上 staging（435c8e19），等自动部署。

  • 咨询里写回答那一步，模型思考量默认就是「低」，不用再在服务器上单独配置。
  • 要退回原来的做法，只要在服务器设 CONSULT_ANSWER_REASONING_EFFORT=off。
  • 排盘、查资料那几步不受影响。

和 issue 原写法的一处不同：原计划「代码不改，写进部署配置」。但这个设置只在服务器私有的配置文件里，自动流程碰不到、也不该碰；所以照 #121（报告提速开关）的做法，把默认值改在代码里，保留一行回退。

检查 结果
类型检查 / lint 0 错
这个开关的测试 5 条全过（新增 2 条：不设 = 低；设 off = 原请求一字不差）
前端全量 5339 条里没过的 25 条都是要 Docker / 数据库的测试，本机没有这些环境，和改动之前完全同一批；staging 门禁会完整跑

部署好了我再 @你，真机清单：docs/testing/answer-effort-default-20261029.md。

<!-- agent:claude review sha=435c8e19f91ecc5be0c3f52182e089f4e9a002da verdict=pass staging=435c8e19f91ecc5be0c3f52182e089f4e9a002da checklist=docs/testing/answer-effort-default-20261029.md --> **按你选的 A 做好了，已推上 staging（`435c8e19`），等自动部署。** - 咨询里写回答那一步，模型思考量**默认就是「低」**，不用再在服务器上单独配置。 - 要退回原来的做法，只要在服务器设 `CONSULT_ANSWER_REASONING_EFFORT=off`。 - 排盘、查资料那几步不受影响。 和 issue 原写法的一处不同：原计划「代码不改，写进部署配置」。但这个设置只在服务器私有的配置文件里，自动流程碰不到、也不该碰；所以照 #121（报告提速开关）的做法，把默认值改在代码里，保留一行回退。 | 检查 | 结果 | | --- | --- | | 类型检查 / lint | 0 错 | | 这个开关的测试 | 5 条全过（新增 2 条：不设 = 低；设 off = 原请求一字不差） | | 前端全量 | 5339 条里没过的 25 条都是要 Docker / 数据库的测试，本机没有这些环境，和改动之前完全同一批；staging 门禁会完整跑 | 部署好了我再 @你，真机清单：`docs/testing/answer-effort-default-20261029.md`。
Claude added agent/部署中 and removed agent/待规划agent/规划中 labels 2026-10-29 11:01:16 +08:00
Claude commented 2026-10-29 11:44:54 +08:00
Author
Collaborator
Copy Link
Copy Source

已部署到 staging（435c8e19），@jesse 可以真机验收了。 门禁、迁移、部署全部成功；登录页正常，未登录访问账户接口被拒绝（401）。

真机清单：docs/testing/answer-effort-default-20261029.md

# 操作 应该看到
1 用一张盘问一个具体问题 回答正常，比以前快一截（以前常要半分钟以上）
2 连问两三个追问 每轮都正常，引用的宫位、大运和以前一样具体
3 问一个时间段（如「明年上半年」） 照常出时段分析，没有空答或中途断掉

要退回原来的做法：在服务器设 CONSULT_ANSWER_REASONING_EFFORT=off。

<!-- agent:claude deployed sha=435c8e19f91ecc5be0c3f52182e089f4e9a002da --> **已部署到 staging（`435c8e19`），@jesse 可以真机验收了。** 门禁、迁移、部署全部成功；登录页正常，未登录访问账户接口被拒绝（401）。 真机清单：`docs/testing/answer-effort-default-20261029.md` | # | 操作 | 应该看到 | | --- | --- | --- | | 1 | 用一张盘问一个具体问题 | 回答正常，比以前快一截（以前常要半分钟以上） | | 2 | 连问两三个追问 | 每轮都正常，引用的宫位、大运和以前一样具体 | | 3 | 问一个时间段（如「明年上半年」） | 照常出时段分析，没有空答或中途断掉 | 要退回原来的做法：在服务器设 `CONSULT_ANSWER_REASONING_EFFORT=off`。
Claude added agent/待真机 and removed agent/部署中 labels 2026-10-29 11:45:00 +08:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
agent/待执行
Grok 领：按任务书实现
 agent/待真机
产品负责人真机走查
 agent/待规划
Claude 领：诊断并写任务书
 agent/待验收
Claude 领：验收 Grok 回报的 SHA
 agent/执行中
锁：Grok 执行中
 agent/排队
任务书已写好，等前置单合入 staging 后由 Claude 改成 agent/待执行；循环两侧都不处理
 agent/规划中
锁：Claude 规划中
 agent/试点
试点期只处理带此标签的 issue
 agent/部署中
已推 staging，等部署核对（脚本自动）
 agent/需拍板
需要产品负责人决定
 agent/验收中
锁：Claude 验收中
 ready-for-agent
Fully specified, ready for an agent
 wayfinder:map
Wayfinder map issue holding the notes and child tickets
 wayfinder:task
Wayfinder child ticket
No labels agent/待真机 agent/试点
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
Claude Grok jesse root
No Assignees
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: root/Jyotisha#134