Files
Jyotisha/docs/testing/report-reference-perf-ab-20261013.md
T
jesse-uxandGrok (agent loop) 69c739fbee 个人长报告同盘同日重试改为秒回
完整数据版在版本号明确时复用当天的结果。渲染快捷算法留下但默认关闭,本机只快了大约两成。

Co-Authored-By: Grok (agent loop)
2026-10-14 06:37:40 +08:00

3.1 KiB
Raw Blame History

长报告出稿 A/B(2026-10-14)

Windows 本机,Python 3.11.7,Windows-10-10.0.26200-SP0。屏蔽 PyJHora(生产镜像不装这个库)。本机本身也没有 PyJHora,所以没有再跑一轮不屏蔽的重复计时。计时开了 tracemalloc,绝对秒数比任务书里的 Linux 基线高,只比较同一进程里的 A 和 B。

A = 两个开关关。B = 两个开关开。四张虚构盘,每组 3 次。生产请求是完整数据版、markdown、中英都要、带事实表。没有模型钥匙。

端到端(未命中,秒)

盘 A 三次 A 中位 B 三次 B 中位 下降
day 71.31 / 64.03 / 64.01 64.03 51.05 / 50.77 / 51.74 51.05 20.3%
night 66.25 / 66.11 / 66.66 66.25 53.32 / 52.57 / 50.43 52.57 20.7%
south 66.03 / 66.00 / 62.69 66.00 49.97 / 52.79 / 52.68 52.68 20.2%
section2 71.01 / 108.37 / 74.19 74.19 57.42 / 57.12 / 71.80 57.42 22.6%

门槛是未命中端到端下降至少 35%。四张盘都没到。渲染快捷路径默认关闭。

分段中位数(秒)

盘 中文渲染 A → B 英文渲染 A → B 建包 A → B
day 23.55 → 17.04(−27.6%) 8.27 → 8.67 22.55 → 16.08
night 23.42 → 17.19(−26.6%) 8.75 → 8.41 23.70 → 17.21
south 23.89 → 17.39(−27.2%) 8.66 → 8.74 22.90 → 16.87
section2 22.26 → 17.80(−20.0%) 8.14 → 8.54 31.24 → 21.08

中文渲染门槛是下降至少 40%。没到。没有继续加整篇替换的预检。

内存与字节

tracemalloc 峰值:B 约为 A 的 0.87 到 0.88,没有升高。

五份输出(整份响应、中文、英文、事实表、适用性)A、B 未命中、缓存命中的 sha256 全部相同。

盘 响应字节 响应 sha256 前 12 位
day 2289867 5b542359d606
night 2321638 89baa960c054
south 2314369 250bf1ab246e
section2 2238092 1d7afd481b1a

同盘缓存(命中,秒)

盘 三次 中位
day 0.059 / 0.054 / 0.057 0.057
night 0.057 / 0.054 / 0.058 0.057
south 0.059 / 0.054 / 0.057 0.057
section2 0.063 / 0.066 / 0.057 0.063

命中字节与未命中相同,中位数远低于 1.5 秒。缓存开关默认开。GITHUB_SHA 缺失或为 unknown 时仍然关。

单次溯源哈希(交付包,秒)

关:1.132 / 1.099 / 1.115,中位 1.115。开:0.402 / 0.466 / 0.388,中位 0.402。下降 64%,过了 50% 那一档。它跟渲染快捷路径用同一个开关,所以默认也是关。

json 与 reference 版

同一份解盘、时钟钉死后,format=json 和 reference 版 markdown 在快捷路径关与开时 sha256 相同(aa1352619b7a、cbadf95f549a)。对比的是整份响应,没有丢掉字段。

连续两次重新解盘会对不齐:有的特质列表挂在类上,第二次会再追加。那不是这条快捷路径改出来的。生产要的完整数据 markdown 在多次重算里仍然逐字节相同。