模型考古 · 20

KataGo 的答案有保质期吗

同一局面换网络、引擎、搜索量或对称方向，第一候选可能改变。把完整分析条件放回结论旁边，旧答案会落入三种状态：仍然稳定、需要加注，或已经不能引用。

1. 答案不是一个坐标，而是一组运行条件

   KataGo 的输出由网络、引擎版本、规则、贴目、搜索预算、对称方向与随机设置共同产生。只保存“推荐 Q10”会丢掉复现实验所需的大部分条件。

2. 原始策略和搜索第一候选，本来就不是同一答案

   官方说明指出 raw policy 不会被搜索改写，而 analysis 的 order=0 是搜索排序结果。二者可能指向不同区域；读旧结论时，要分清变的是网络第一感还是搜索后的排序。

3. 架构升级会改变单位访问的含义

   KataGo 1.17 引入的 Transformer 网络被官方描述为每次访问更强，并常比旧卷积网络更快。跨架构只对齐 visits，不能保证对齐计算量或判断质量。

4. 网络档案的 Elo 只能在训练运行内理解

   公开网络页保留历史检查点，但明确提醒不同训练运行的近似 Elo 不可直接横比，且误差约有两个标准差。文章因此用日期与网络身份定位历史，不拼接一条虚假的统一棋力线。

5. 对称与随机性是最低成本的压力测试

   固定 nnRandomize、根对称和搜索量后再做八种棋盘对称，可检查标签是否依赖偶然方向。若第一候选频繁分裂，应把它标为搜索不稳，而不是宣布旧模型错误。

6. 旧答案至少有三种不同的过期状态

   旧答案可以是坐标仍稳、理由已变；坐标改变但价值近似；或局部结论真正翻转。三种状态对应继续引用、加注条件与撤回重写，不必把每次升级都包装成革命。

7. 没有分析条件，旧截图就只剩一个坐标

   完整记录包括 engine、network、rules、komi、maxVisits、nnRandomize、rootSymmetry、分析日期，以及 raw policy 与 order=0。模型升级后按同样条件重跑，才看得出答案是真的改变，还是软件默认不同。