fix(capacity): limit each user and queue heavy compute briefly.

Consult, rectification turns, and report generation stop before a credit reservation when the product caps are hit. A full heavy-compute gate waits up to 8 seconds, and one consultation retries that 429 inside the same request. Co-Authored-By: Grok (agent loop)
2026-10-15 13:33:06 +08:00
parent ef49257b73
commit a54f75e5e3
28 changed files with 1035 additions and 70 deletions
@@ -36257,3 +36257,34 @@
 - 复发自：无。
 - 修复版本：未修。分支 `codex/answer-effort-ab-20261013` 只记录。原先写在 BUG-1351，该号已被数据层占用；按本文件规则保留较早的 BUG-1351，本条改为 BUG-1354，接在 BUG-1353 之后。

+## BUG-1355 | 对话、校正回合和报告生成没有按用户限流
+
+- 状态：mitigated
+- 首次发现 / 最近更新：2026-10-14 / 2026-10-15
+- 来源：issue #76。任务书 `docs/tasks/TASK-beta-capacity-20261014.md`。
+- 现象：一个人可以连续打对话、校正回合或报告生成。报告只有每天 5 份的上限，没有按小时的上限。对话和校正没有按这个人计数。
+- 触发条件：已登录后调用 `POST /api/consult`、`POST /api/rectification/agent` 或 `POST /api/reports`。开案 `POST /api/rectification/cases/open` 不计数。
+- 根因：`requestRateLimits` 只覆盖地点搜索、时区、今日星语、星历、合盘和会话写入。重计算闸是全进程共享的，挡不住同一个人把模型调用打满。
+- 修复：对话 10 次/分钟且 120 次/小时，校正回合 5 次/分钟且 40 次/小时，报告生成另加 3 次/小时（每天 5 份仍在）。两档都还有余量才放行；拒绝时不写入任何一档，也不预留点数。响应是 429、`code: rate_limited` 和 `Retry-After`。
+- 验证：`frontend/tests/request-rate-limit.test.ts`；报告核心测试「hourly rate limit returns 429 and does not reserve」。
+- 防复发：上述测试锁住桶的边界、拒绝时不记入另一档，以及三条路由在预留点数之前判断。开案路由源码不得调用这组限流。
+- 相关记录：BUG-723（校正客户端已有的退避，本单不改）、BUG-1302（预热仍不占重计算名额）。
+- 复发自：无
+- 修复版本：分支 `codex/beta-capacity-20261014`。
+
+## BUG-1356 | 重计算满了立刻拒绝，对话也不再试
+
+- 状态：mitigated
+- 首次发现 / 最近更新：2026-10-14 / 2026-10-15
+- 来源：issue #76。任务书 `docs/tasks/TASK-beta-capacity-20261014.md`。
+- 现象：同时只有 2 个重计算名额。第 3 个请求马上收到 429。普通对话把这次 429 当成这一轮失败，不按 `Retry-After` 再试。
+- 触发条件：已有 2 个请求占着 `/api/consultation_workflow` 或校正打分，又来一个对话取证。
+- 根因：闸门用非阻塞信号量，满了就抛 `HeavyComputeBusy`。对话侧把 HTTP 429 记成 `workflow_rate_limited` 后直接失败。
+- 修复：名额满时最多再等 8 秒，同时等待的人最多 4 个。等不到或等待的人已经满，仍抛 `HeavyComputeBusy`，`Retry-After` 仍是原来的秒数。对话对这种 429 最多再试 2 次，几次等待加起来不超过 15 秒。等待时进度行写「人有点多，排一下队」。仍失败则沿用原来的取消预留退点，只走一次，并告诉用户这一轮没排上、点数已退回。并发上限仍是 2。
+- 验证：`tests/test_api_heavy_compute_gate.py` 的排队拿到名额、等待者满立刻拒绝、超时仍 429；`frontend/tests/consultation-workflow-retry.test.ts`。
+- 防复发：上述测试。健康检查仍不进闸。校正客户端原有的退避（BUG-723）没有改。
+- 相关记录：BUG-717、BUG-723、BUG-1302、BUG-1345、BUG-1355。
+- 复发自：无
+- 修复版本：分支 `codex/beta-capacity-20261014`。
+
+
@@ -0,0 +1,21 @@
+# 内测邀请码（用兑换码）
+
+后台路径：`/admin/codes`（兑换码）。需要管理权限。不要把真实兑换码写进仓库、进度或聊天记录。完整码只在生成成功的那一次弹窗里出现，关掉就不能再看，列表里只剩掩码。
+
+## 批量生成
+
+1. 打开兑换码页，点「批量生成」。
+2. 「每个点数」是这一批每个码到账的点数。表单初始值是 10，可以改。内测每码给多少点由当次生成的人填写，产品以后可以改这个数。
+3. 「数量」一次 1 到 100 个。同一批的点数、到期时间、备注相同。
+4. 到期时间可以空着。备注用来区分这一批，例如内测第几批，不要写别人的个人资料。
+5. 生成后立刻把完整码交给对应的人。页面会提示关闭后无法再看。
+
+## 查谁用了
+
+列表有掩码、点数、状态、到期、备注、兑换账户、兑换时间、撤销时间。状态可以筛：可用、已过期、已兑换、已撤销。兑换账户和兑换时间就是谁用过。
+
+## 作废
+
+还没兑换、也没撤销的码，行上有「撤销」。撤销后不能再兑。已经兑换的不能从这里追回已经到账的点数。
+
+支付在内测期间保持关闭。这页已经能批量生成、查看使用者和作废，本单不另加功能。
@@ -0,0 +1,43 @@
+# 进度 · 内测容量（2026-10-15）
+
+- 分支：`codex/beta-capacity-20261014`
+- 基线：开工时 `origin/staging` `ef49257b734678ff944a840076347baa02d0323c`
+- 任务书：`docs/tasks/TASK-beta-capacity-20261014.md`
+- 前置：`origin/codex/node-runtime-resources-20261013` 与 `origin/codex/rect-scoring-perf-20261013` 都是该 staging 的祖先（`merge-base --is-ancestor` 退出码 0）。限流文件里已有过期清理。
+
+## 做了什么
+
+- T1：对话 10 次/分钟 + 120 次/小时，校正回合 5 次/分钟 + 40 次/小时，报告 3 次/小时（每天 5 份不变）。拒绝发生在预留点数之前，429 + `rate_limited` + `Retry-After`。开案路由不计数。
+- T2：重计算并发仍是 2。满了最多等 8 秒，同时等待最多 4 个；等不到或等待已满仍是 429，`Retry-After` 不变。对话对这种 429 最多再试 2 次，等待合计不超过 15 秒。进度行「人有点多，排一下队」，失败句「人有点多，这一轮没排上，点数已经退回。」退点仍走原来的取消预留，代理路径用已有的一次结算。
+- T3：后台已能批量生成（1–100 个、每码点数自填、初始 10）、按兑换账户查看、撤销未使用的码。说明在 `docs/operations/beta-invite-codes.md`。没有扩功能。
+- T4：脚本 `frontend/scripts/research/beta-load-smoke.mts`。不从 `frontend/tests` 导入。本机没有跑。
+- T5：BUG-1355、BUG-1356，CHANGELOG、VOICE、DESIGN、真机两条。
+
+## 断言
+
+旧测试仍要求「名额被占着就拒绝」，没有改拒绝码和 `Retry-After` 的期望值。
+
+| 位置 | 原值 | 新值 | 原因 |
+| --- | --- | --- | --- |
+| `tests/test_api_heavy_compute_gate.py` 立刻拒绝的夹具和单测 | `reset()` / `reset(limit=1, retry_after_seconds=3)` | 增加 `wait_seconds=0` | 默认改为最多等 8 秒。这些测试继续锁 429 和 `Retry-After`，排队另有新测试 |
+| `tests/test_api_chart_subprocess_gate.py` 两处占着名额再请求 | `reset(limit=1)` | `reset(limit=1, wait_seconds=0)` | 同上。仍锁同步排盘被拒绝、日志不出现请求正文 |
+
+## 偏离与环境缺口
+
+- T0：仓库文档里的目标规格，staging 与生产都是 2 vCPU / 4 GB，代码默认并发 2。这台 Windows 没有 staging 的登录壳，没有采到机器上的实际核数、内存和 `JYOTISH_HEAVY_COMPUTE_CONCURRENCY`。不能把文档规格当成已经登主机核对过。
+- T4：没有 `STAGING_TEST_OTP`，没有对 staging 或生产发压测。改前、改后的并发数字都没有。服务器 CPU / 内存同样没有采样。脚本留给验收方在有测试验证码的环境重跑。20 并发档没有跑。
+- 旧版对话（不走代理运行时）会重试，但进度行要等回答流开始才有，所以那条路径等待时看不到「排一下队」。现在的对话走代理运行时，进度行会换字。任务书允许把排队文案收成只多等。
+- 没有改数据库，没跑 `test:db`。没有跑前端全量 `npm test`，没有跑 Python 快速门。
+- `deploy/README.md` 有一句仍写「满了不排队」。改成了最多等 8 秒、等待不超过 4 个，避免操作说明和代码相反。没有改部署配置。
+
+## 自测
+
+| 检查 | 命令 | 结果数字 |
+| --- | --- | --- |
+| Python 闸门 | `.venv\Scripts\python.exe -m pytest tests/test_api_heavy_compute_gate.py tests/test_api_chart_subprocess_gate.py -q` | 17 通过（8 + 9），0 失败 |
+| 前端相关测试 | `node node_modules/tsx/dist/cli.mjs --test tests/request-rate-limit.test.ts tests/consultation-workflow-retry.test.ts tests/personal-report-api.test.ts tests/runtime-sources-no-test-imports.test.ts` | 76 通过，0 失败 |
+| 类型 | `frontend\node_modules\.bin\tsc --noEmit -p .` | 退出码 0 |
+| 前端 lint | `npm run lint` | 0 错误，123 条原有警告 |
+| 压测 | 未执行 `frontend/scripts/research/beta-load-smoke.mts` | 本机没有 `STAGING_TEST_OTP`。没有改前/改后并发数字，没有服务器 CPU/内存 |
+
+没有改数据库，没跑 `test:db`。没有跑前端全量 `npm test`，没有跑 Python 快速门。
@@ -0,0 +1,6 @@
+# 内测容量 · 真机两条（2026-10-14）
+
+用测试账号。不要把出生资料、姓名、邮箱写进记录。
+
+1. 快速连发触发限流。登录后在一分钟里连续发送超过 10 次普通对话。预期：出现「这一会儿问得有点密，先停一下。」这一轮不扣点。等提示里的时间过去再发一次，可以正常问。
+2. 排队提示出现与消失。需要两个人同时占着计算（或用压测脚本打满两个名额）时，第三个人发普通对话。预期：进度行先出现「人有点多，排一下队」，排上之后这句消失，回到正在计算。若一直排不上，出现「人有点多，这一轮没排上，点数已经退回。」余额与发送前一致。