Files
Jyotisha/docs/testing/report-reference-perf-ab-20261013.md
T
jesse-uxandGrok (agent loop) 69c739fbee 个人长报告同盘同日重试改为秒回
完整数据版在版本号明确时复用当天的结果。渲染快捷算法留下但默认关闭,本机只快了大约两成。

Co-Authored-By: Grok (agent loop)
2026-10-14 06:37:40 +08:00

62 lines
3.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 长报告出稿 A/B(2026-10-14)
Windows 本机,Python 3.11.7,`Windows-10-10.0.26200-SP0`。屏蔽 PyJHora(生产镜像不装这个库)。本机本身也没有 PyJHora,所以没有再跑一轮不屏蔽的重复计时。计时开了 tracemalloc,绝对秒数比任务书里的 Linux 基线高,只比较同一进程里的 A 和 B。
A = 两个开关关。B = 两个开关开。四张虚构盘,每组 3 次。生产请求是完整数据版、markdown、中英都要、带事实表。没有模型钥匙。
## 端到端(未命中,秒)
| 盘 | A 三次 | A 中位 | B 三次 | B 中位 | 下降 |
| --- | --- | --- | --- | --- | --- |
| day | 71.31 / 64.03 / 64.01 | 64.03 | 51.05 / 50.77 / 51.74 | 51.05 | 20.3% |
| night | 66.25 / 66.11 / 66.66 | 66.25 | 53.32 / 52.57 / 50.43 | 52.57 | 20.7% |
| south | 66.03 / 66.00 / 62.69 | 66.00 | 49.97 / 52.79 / 52.68 | 52.68 | 20.2% |
| section2 | 71.01 / 108.37 / 74.19 | 74.19 | 57.42 / 57.12 / 71.80 | 57.42 | 22.6% |
门槛是未命中端到端下降至少 35%。四张盘都没到。渲染快捷路径默认关闭。
## 分段中位数(秒)
| 盘 | 中文渲染 A → B | 英文渲染 A → B | 建包 A → B |
| --- | --- | --- | --- |
| day | 23.55 → 17.04(−27.6%) | 8.27 → 8.67 | 22.55 → 16.08 |
| night | 23.42 → 17.19(−26.6%) | 8.75 → 8.41 | 23.70 → 17.21 |
| south | 23.89 → 17.39(−27.2%) | 8.66 → 8.74 | 22.90 → 16.87 |
| section2 | 22.26 → 17.80(−20.0%) | 8.14 → 8.54 | 31.24 → 21.08 |
中文渲染门槛是下降至少 40%。没到。没有继续加整篇替换的预检。
## 内存与字节
tracemalloc 峰值:B 约为 A 的 0.87 到 0.88,没有升高。
五份输出(整份响应、中文、英文、事实表、适用性)A、B 未命中、缓存命中的 sha256 全部相同。
| 盘 | 响应字节 | 响应 sha256 前 12 位 |
| --- | --- | --- |
| day | 2289867 | 5b542359d606 |
| night | 2321638 | 89baa960c054 |
| south | 2314369 | 250bf1ab246e |
| section2 | 2238092 | 1d7afd481b1a |
## 同盘缓存(命中,秒)
| 盘 | 三次 | 中位 |
| --- | --- | --- |
| day | 0.059 / 0.054 / 0.057 | 0.057 |
| night | 0.057 / 0.054 / 0.058 | 0.057 |
| south | 0.059 / 0.054 / 0.057 | 0.057 |
| section2 | 0.063 / 0.066 / 0.057 | 0.063 |
命中字节与未命中相同,中位数远低于 1.5 秒。缓存开关默认开。`GITHUB_SHA` 缺失或为 `unknown` 时仍然关。
## 单次溯源哈希(交付包,秒)
关:1.132 / 1.099 / 1.115,中位 1.115。开:0.402 / 0.466 / 0.388,中位 0.402。下降 64%,过了 50% 那一档。它跟渲染快捷路径用同一个开关,所以默认也是关。
## json 与 reference 版
同一份解盘、时钟钉死后,`format=json` 和 reference 版 markdown 在快捷路径关与开时 sha256 相同(`aa1352619b7a`、`cbadf95f549a`)。对比的是整份响应,没有丢掉字段。
连续两次重新解盘会对不齐:有的特质列表挂在类上,第二次会再追加。那不是这条快捷路径改出来的。生产要的完整数据 markdown 在多次重算里仍然逐字节相同。