内测安全网:每日备份、探活告警、日志 #75

Open
opened 2026-10-14 00:54:20 +08:00 by Claude · 11 comments
Collaborator

每日自动备份 + 一次恢复演练、宕机探活告警、本地错误汇总、日志轮转、按 requestId 查日志。用户内容不外发。

前置:发布通路单(release-path-production)与 #58 合入后再开工。
任务书:docs/tasks/TASK-beta-safety-net-20261014.md

每日自动备份 + 一次恢复演练、宕机探活告警、本地错误汇总、日志轮转、按 requestId 查日志。用户内容不外发。 **前置:发布通路单(release-path-production)与 #58 合入后再开工。** 任务书:`docs/tasks/TASK-beta-safety-net-20261014.md`
Author
Collaborator

结论:安全网任务书已写好,等前置合入后改为待执行。 告警渠道等需产品给(见任务书末尾)。

<!-- agent:claude plan brief=docs/tasks/TASK-beta-safety-net-20261014.md branch=codex/beta-safety-net-20261014 base=13bde11539bc99f76330376145c756da22d149e3 --> **结论:安全网任务书已写好,等前置合入后改为待执行。** 告警渠道等需产品给(见任务书末尾)。
Claude added the agent/试点agent/排队 labels 2026-10-14 00:54:57 +08:00
Author
Collaborator

产品 10-14 答复已写进任务书 §11(staging 74384be0):告警走飞书群机器人,Webhook 由产品配在环境里,不进仓库。

产品 10-14 答复已写进任务书 §11(staging `74384be0`):告警走飞书群机器人,Webhook 由产品配在环境里,不进仓库。
Grok added agent/待执行 and removed agent/排队 labels 2026-10-15 00:03:56 +08:00
Grok added the agent/执行中 label 2026-10-15 11:05:07 +08:00
Collaborator

每日加密备份、站点打不开时的通知、日志大小上限都已经写进分支。要等产品在主机上装好,并做一次不碰主库的恢复演练,才会真正生效。

检查 命令 结果数字
安全网测试 pytest tests/test_beta_safety_net.py -q 13 通过,退出码 0
隐私标记 pytest tests/test_repo_privacy_markers.py -q 退出码 0
编排能否解析 docker compose config --quiet 退出码 0
shellcheck 本机没有这条命令 未跑

进度:docs/tasks/PROGRESS-beta-safety-net-20261014.md

<!-- agent:grok report branch=codex/beta-safety-net-20261014 sha=53d8df257ddef8918034acef36df0b4b7daade2c --> 每日加密备份、站点打不开时的通知、日志大小上限都已经写进分支。要等产品在主机上装好,并做一次不碰主库的恢复演练,才会真正生效。 | 检查 | 命令 | 结果数字 | | --- | --- | --- | | 安全网测试 | pytest tests/test_beta_safety_net.py -q | 13 通过,退出码 0 | | 隐私标记 | pytest tests/test_repo_privacy_markers.py -q | 退出码 0 | | 编排能否解析 | docker compose config --quiet | 退出码 0 | | shellcheck | 本机没有这条命令 | 未跑 | 进度:docs/tasks/PROGRESS-beta-safety-net-20261014.md
Grok added agent/待验收 and removed agent/待执行agent/执行中 labels 2026-10-15 12:59:29 +08:00
Claude added the agent/验收中 label 2026-10-15 13:14:12 +08:00
Author
Collaborator

@jesse 这单要你亲口确认,我才能往下验:它新增了一个「每天凌晨自动连上生产服务器做备份」的定时任务。

任务书写着「产品 10-14 授权新增定时工作流」,但那是另一个会话写的;你给我这个循环的规矩是「不改 workflow」,上次 #74 你授权的范围是「改那四个已有的发布工作流」,不包括新增一个没人按按钮也会每天自己跑、会登上生产服务器的任务。所以先问你。

这单做了什么 说明
每日备份 每天北京时间 04:00 自动备份生产库(加密),服务器上留 7 天、Gitea 上留 14 天
站点挂了通知 网站打不开时发飞书通知
错误汇总 每 5 分钟数一次报错类型,超过阈值告警;不发任何用户内容
日志上限 每个服务的日志最多约 200 MB,不再无限涨
生效条件 都要你在服务器上装好、并做一次不碰主库的恢复演练后才真正生效

还有一处要你知道的副作用:每日备份和「上线前创建恢复点」用的是同一个工具,每天凌晨的备份会顶替「当前恢复点」的记录。大多数时候没关系(反正是更新的备份);但如果你上线前手动建了恢复点、隔了一夜才去点迁移,凌晨的自动备份会把它换掉。

请选一个(回字母就行):

  • A(我推荐):授权新增这个定时任务,但让 Grok 改一处:每日备份不改动「当前恢复点」记录,只单独存档(恢复点仍只由你手动创建)。改完我按最严标准验(逐行看工作流、跑全部测试)。
  • B:授权,照现在的做法(每日备份也算最新恢复点)。
  • C:先不要定时任务,备份仍只在你手动点的时候做;通知、错误汇总、日志上限这几样照常验收合入。
<!-- agent:claude escalate --> @jesse **这单要你亲口确认,我才能往下验:它新增了一个「每天凌晨自动连上生产服务器做备份」的定时任务。** 任务书写着「产品 10-14 授权新增定时工作流」,但那是另一个会话写的;你给我这个循环的规矩是「不改 workflow」,上次 #74 你授权的范围是「改那四个已有的发布工作流」,不包括新增一个**没人按按钮也会每天自己跑、会登上生产服务器**的任务。所以先问你。 | 这单做了什么 | 说明 | | --- | --- | | 每日备份 | 每天北京时间 04:00 自动备份生产库(加密),服务器上留 7 天、Gitea 上留 14 天 | | 站点挂了通知 | 网站打不开时发飞书通知 | | 错误汇总 | 每 5 分钟数一次报错类型,超过阈值告警;不发任何用户内容 | | 日志上限 | 每个服务的日志最多约 200 MB,不再无限涨 | | 生效条件 | 都要你在服务器上装好、并做一次不碰主库的恢复演练后才真正生效 | **还有一处要你知道的副作用**:每日备份和「上线前创建恢复点」用的是同一个工具,**每天凌晨的备份会顶替「当前恢复点」的记录**。大多数时候没关系(反正是更新的备份);但如果你上线前手动建了恢复点、隔了一夜才去点迁移,凌晨的自动备份会把它换掉。 **请选一个**(回字母就行): - **A(我推荐)**:授权新增这个定时任务,但让 Grok 改一处:**每日备份不改动「当前恢复点」记录**,只单独存档(恢复点仍只由你手动创建)。改完我按最严标准验(逐行看工作流、跑全部测试)。 - **B**:授权,照现在的做法(每日备份也算最新恢复点)。 - **C**:先不要定时任务,备份仍只在你手动点的时候做;通知、错误汇总、日志上限这几样照常验收合入。
Claude added agent/需拍板 and removed agent/待验收agent/验收中 labels 2026-10-15 13:16:13 +08:00
Owner

A 我同意

A 我同意
jesse added the agent/待规划 label 2026-10-15 15:27:56 +08:00
Claude added agent/规划中 and removed agent/需拍板 labels 2026-10-15 15:44:41 +08:00
Author
Collaborator

按你选的 A,修复单已交给 Grok:每天凌晨的自动备份照做,但不再顶替「当前恢复点」。

改完是什么样 说明
每日自动备份 每天 04:00 照常备份、加密、还原核对(含权限比对),只存档,单独记一份「最近一次每日备份」
当前恢复点 仍然只在你上线前手动点「创建恢复点」时才更新,自动备份碰不到它
清理 只删自动备份的旧文件,绝不删你手动建的恢复点

修复单:docs/tasks/TASK-beta-safety-net-fix-20261015.md。上一轮我在发现定时任务时就停下来问你了,其余部分(通知、错误汇总、日志上限)还没逐行验;Grok 交回后我会整单按最严标准验一遍。

<!-- agent:claude review sha=53d8df257ddef8918034acef36df0b4b7daade2c verdict=fail brief=docs/tasks/TASK-beta-safety-net-fix-20261015.md branch=codex/beta-safety-net-20261014 --> **按你选的 A,修复单已交给 Grok:每天凌晨的自动备份照做,但不再顶替「当前恢复点」。** | 改完是什么样 | 说明 | | --- | --- | | 每日自动备份 | 每天 04:00 照常备份、加密、还原核对(含权限比对),只存档,单独记一份「最近一次每日备份」 | | 当前恢复点 | 仍然只在你上线前手动点「创建恢复点」时才更新,自动备份碰不到它 | | 清理 | 只删自动备份的旧文件,绝不删你手动建的恢复点 | 修复单:`docs/tasks/TASK-beta-safety-net-fix-20261015.md`。上一轮我在发现定时任务时就停下来问你了,其余部分(通知、错误汇总、日志上限)还没逐行验;Grok 交回后我会整单按最严标准验一遍。
Claude added agent/待执行 and removed agent/待规划agent/规划中 labels 2026-10-15 15:45:13 +08:00
Grok added the agent/执行中 label 2026-10-15 15:52:25 +08:00
Collaborator

每天凌晨的自动备份还会做,但不会再换掉你手动建的当前恢复点。上线前仍然要点「创建恢复点」。这台电脑没有装到生产,也没有点生产按钮。

检查 命令 结果数字
安全网与隐私 pytest tests/test_beta_safety_net.py tests/test_repo_privacy_markers.py -q 78 通过,退出码 0
前端合同 node node_modules/tsx/dist/cli.mjs --test tests/runtime-sources-no-test-imports.test.ts tests/staging-backend-workflows.test.ts 46 项:41 通过,5 失败,0 取消

那 5 项是这台电脑缺少现成工具,查的是别的发布脚本,这次没有改它们。

进度:docs/tasks/PROGRESS-beta-safety-net-fix-20261015.md

<!-- agent:grok report branch=codex/beta-safety-net-20261014 sha=5c0d895391b5d0806c98de669a2e9cdcd61e3335 --> 每天凌晨的自动备份还会做,但不会再换掉你手动建的当前恢复点。上线前仍然要点「创建恢复点」。这台电脑没有装到生产,也没有点生产按钮。 | 检查 | 命令 | 结果数字 | | --- | --- | --- | | 安全网与隐私 | pytest tests/test_beta_safety_net.py tests/test_repo_privacy_markers.py -q | 78 通过,退出码 0 | | 前端合同 | node node_modules/tsx/dist/cli.mjs --test tests/runtime-sources-no-test-imports.test.ts tests/staging-backend-workflows.test.ts | 46 项:41 通过,5 失败,0 取消 | 那 5 项是这台电脑缺少现成工具,查的是别的发布脚本,这次没有改它们。 进度:docs/tasks/PROGRESS-beta-safety-net-fix-20261015.md
Grok added agent/待验收 and removed agent/待执行agent/执行中 labels 2026-10-15 16:18:40 +08:00
Claude added the agent/验收中 label 2026-10-15 16:44:49 +08:00
Author
Collaborator

结论:打回给 Grok。所有会碰生产的部分都验过、是安全的;但有一条检查在服务器那类机器上会失败,会挡住以后的上生产检查,另有几处一起修。(上一次是你拍板后的改动,这是第一次因为质量问题打回。)

验过、没问题的:每日备份只从 main 跑、和恢复点用同一把锁、不泄露任何密钥;每日备份在任何情况下都不会改「当前恢复点」;清理只删自动备份的旧文件、绝对碰不到你手动建的恢复点;错误汇总和通知不会发出任何用户内容;日志上限只加在日志设置上,没动别的。

# 问题 后果
1 一条新检查在 Linux 上失败(文件权限设得不对,Windows 上看不出来) 以后点「上生产前的发布检查」会红
2 新检查没加进测试环境的自动检查 第 1 条就是这样漏过去的
3 服务器磁盘用到 70% 后,自动备份会每天失败,旧备份也不会被清,而且没有人收到提醒 可能好几周没有备份却没人知道
4 错误汇总、查日志两个脚本在服务器上大概率跑不起来(少了管理员权限和配置文件路径) 错误告警一条也发不出来

修复单:docs/tasks/TASK-beta-safety-net-fix2-20261015.md。另外顺手让通知发送失败时不再被记成「已发送」、同类告警 30 分钟内不重复发。

<!-- agent:claude review sha=5c0d895391b5d0806c98de669a2e9cdcd61e3335 verdict=fail brief=docs/tasks/TASK-beta-safety-net-fix2-20261015.md branch=codex/beta-safety-net-20261014 --> **结论:打回给 Grok。所有会碰生产的部分都验过、是安全的;但有一条检查在服务器那类机器上会失败,会挡住以后的上生产检查,另有几处一起修。**(上一次是你拍板后的改动,这是第一次因为质量问题打回。) **验过、没问题的**:每日备份只从 main 跑、和恢复点用同一把锁、不泄露任何密钥;**每日备份在任何情况下都不会改「当前恢复点」**;清理只删自动备份的旧文件、绝对碰不到你手动建的恢复点;错误汇总和通知不会发出任何用户内容;日志上限只加在日志设置上,没动别的。 | # | 问题 | 后果 | | --- | --- | --- | | 1 | 一条新检查在 Linux 上失败(文件权限设得不对,Windows 上看不出来) | 以后点「上生产前的发布检查」会红 | | 2 | 新检查没加进测试环境的自动检查 | 第 1 条就是这样漏过去的 | | 3 | 服务器磁盘用到 70% 后,自动备份会每天失败,旧备份也不会被清,而且没有人收到提醒 | 可能好几周没有备份却没人知道 | | 4 | 错误汇总、查日志两个脚本在服务器上大概率跑不起来(少了管理员权限和配置文件路径) | 错误告警一条也发不出来 | 修复单:`docs/tasks/TASK-beta-safety-net-fix2-20261015.md`。另外顺手让通知发送失败时不再被记成「已发送」、同类告警 30 分钟内不重复发。
Claude added agent/待执行 and removed agent/待验收agent/验收中 labels 2026-10-15 16:49:23 +08:00
Grok added the agent/执行中 label 2026-10-15 17:04:13 +08:00
Collaborator

每天的自动备份还会做,磁盘变满时会先清掉过期的每日备份;最近一次核对超过 36 小时也会有人知道。这台电脑没有装到生产,也没有点生产按钮。

检查 命令 结果数字
安全网 pytest tests/test_beta_safety_net.py -q 20 通过,退出码 0
隐私标记 pytest tests/test_repo_privacy_markers.py -q 62 通过,退出码 0

进度:docs/tasks/PROGRESS-beta-safety-net-fix2-20261015.md

<!-- agent:grok report branch=codex/beta-safety-net-20261014 sha=9455fbfc4f48307d2730bfffbc7e618ba6974b32 --> 每天的自动备份还会做,磁盘变满时会先清掉过期的每日备份;最近一次核对超过 36 小时也会有人知道。这台电脑没有装到生产,也没有点生产按钮。 | 检查 | 命令 | 结果数字 | | --- | --- | --- | | 安全网 | pytest tests/test_beta_safety_net.py -q | 20 通过,退出码 0 | | 隐私标记 | pytest tests/test_repo_privacy_markers.py -q | 62 通过,退出码 0 | 进度:docs/tasks/PROGRESS-beta-safety-net-fix2-20261015.md
Grok added agent/待验收 and removed agent/待执行agent/执行中 labels 2026-10-15 17:25:13 +08:00
Claude added the agent/验收中 label 2026-10-15 17:45:11 +08:00
Author
Collaborator

按你的意思解了锁,我接手复验,这一版通过了,已推到测试分支,等部署。

上次打回的几处都修好了:

  • 测试在 Linux 上会失败的问题已修好,这条测试也加进了每次推送都会跑的自动检查。
  • 磁盘快满时,每日备份先清理旧文件再备份,不会再卡住;备份超过 36 小时没更新会告警。
  • 两个监控脚本在生产主机上能正常调用了。
  • 飞书没真正收到的告警不会记成「已发送」;同类错误 30 分钟内不重复发。
检查 结果 数字
安全网测试(Linux) 通过 20 条全过
部署脚本语法检查 通过 全部通过
全量 Python 测试 通过 失败清单与测试分支原有的逐条相同
快速门 通过 Python 各项全绿;前端 25 条是本机没有数据库的老缺口,与之前相同
越界改动 无 只碰了任务书列出的部署脚本、你授权的每日备份工作流、测试和文档
隐私 通过 —

合并时我做了两件只碰文档的事:一是处理了它落后于测试分支造成的冲突;二是它用的 Bug 编号和别的单撞了,我把它的 7 条记录整体顺移成 BUG-1360~1366。

要你做的(测试环境部署后不会自动生效,这些都是生产主机上的事):

  1. 等这批改动提升到正式环境后,每日备份才会在北京时间 04:00 开始跑。
  2. 在主机上装好探活、磁盘检查和错误汇总,并把飞书 Webhook 写进环境文件。装法见 deploy/README.md「告警装在哪」一节。
  3. 内测开放前做一次恢复演练,结果填进 docs/testing/production-restore-drill-20261014.md。

这些也记在 BLOCKED.md 里。

<!-- agent:claude review sha=9455fbfc4f48307d2730bfffbc7e618ba6974b32 verdict=pass staging=1eb504d3e04ef0437c551113978aafc1fbcf06a9 checklist=docs/operations/production-restore-drill-20261014.md --> **按你的意思解了锁,我接手复验,这一版通过了,已推到测试分支,等部署。** 上次打回的几处都修好了: - 测试在 Linux 上会失败的问题已修好,这条测试也加进了每次推送都会跑的自动检查。 - 磁盘快满时,每日备份先清理旧文件再备份,不会再卡住;备份超过 36 小时没更新会告警。 - 两个监控脚本在生产主机上能正常调用了。 - 飞书没真正收到的告警不会记成「已发送」;同类错误 30 分钟内不重复发。 | 检查 | 结果 | 数字 | | --- | --- | --- | | 安全网测试(Linux) | 通过 | 20 条全过 | | 部署脚本语法检查 | 通过 | 全部通过 | | 全量 Python 测试 | 通过 | 失败清单与测试分支原有的逐条相同 | | 快速门 | 通过 | Python 各项全绿;前端 25 条是本机没有数据库的老缺口,与之前相同 | | 越界改动 | 无 | 只碰了任务书列出的部署脚本、你授权的每日备份工作流、测试和文档 | | 隐私 | 通过 | — | 合并时我做了两件只碰文档的事:一是处理了它落后于测试分支造成的冲突;二是它用的 Bug 编号和别的单撞了,我把它的 7 条记录整体顺移成 BUG-1360~1366。 **要你做的(测试环境部署后不会自动生效,这些都是生产主机上的事):** 1. 等这批改动提升到正式环境后,每日备份才会在北京时间 04:00 开始跑。 2. 在主机上装好探活、磁盘检查和错误汇总,并把飞书 Webhook 写进环境文件。装法见 `deploy/README.md`「告警装在哪」一节。 3. 内测开放前做一次恢复演练,结果填进 `docs/testing/production-restore-drill-20261014.md`。 这些也记在 `BLOCKED.md` 里。
Claude added agent/部署中 and removed agent/待验收agent/验收中 labels 2026-10-16 14:48:05 +08:00
Author
Collaborator

@jesse 测试环境已经更新到这一版(门禁、数据库迁移、部署三步都成功;登录页能打开,未登录访问账户接口被正确拒绝)。

这单的东西都是给正式环境的服务器用的,测试环境上看不出变化,所以这次没有「真机走一遍」的步骤,而是需要你在主机上动手,上一条评论里列的三件事:

  1. 提升到正式环境后,每日备份才会在北京时间 04:00 开始跑;
  2. 按 deploy/README.md「告警装在哪」装好探活、磁盘检查、错误汇总,把飞书 Webhook 写进环境文件;
  3. 内测开放前做一次恢复演练,结果填进 docs/testing/production-restore-drill-20261014.md。

做完后在这里说一声,我帮你核对。

<!-- agent:claude deployed sha=1eb504d3e04ef0437c551113978aafc1fbcf06a9 --> @jesse 测试环境已经更新到这一版(门禁、数据库迁移、部署三步都成功;登录页能打开,未登录访问账户接口被正确拒绝)。 这单的东西都是给**正式环境的服务器**用的,测试环境上看不出变化,所以这次没有「真机走一遍」的步骤,而是需要你在主机上动手,上一条评论里列的三件事: 1. 提升到正式环境后,每日备份才会在北京时间 04:00 开始跑; 2. 按 `deploy/README.md`「告警装在哪」装好探活、磁盘检查、错误汇总,把飞书 Webhook 写进环境文件; 3. 内测开放前做一次恢复演练,结果填进 `docs/testing/production-restore-drill-20261014.md`。 做完后在这里说一声,我帮你核对。
Claude added agent/待真机 and removed agent/部署中 labels 2026-10-16 15:14:40 +08:00
Sign in to join this conversation.
3 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: root/Jyotisha#75