モデル考古学 · 20

KataGoの答えに賞味期限はあるか

同じ局面でもネットワーク、エンジン、探索量、対称方向を変えると第一候補が動きます。解析条件を先に読み、古い結論を維持・注記・退役のどれにするか判断します。

1. 答えは座標一つでなく実行条件の集合

   KataGo出力はnetwork、engine版、rules、komi、search budget、対称性、random設定に依存します。「Q10推奨」だけでは再現に必要な条件がほぼ残りません。

2. raw policyと探索第一候補を分離する

   公式説明ではsearchはraw policyを書き換えず、order=0は探索後の順位です。別領域を選ぶことがあるためmodel driftとsearch driftを分けます。

3. architecture変更は一visitの価値を変える

   KataGo 1.17はTransformerを従来のconvnetよりvisit当たり強く、しばしば高速と説明します。同じvisitsでも計算量と判断品質は一致しません。

4. network Eloはtraining run内で読む

   公開archiveは歴史checkpointを残す一方、近似Eloはrun間比較不能で約2 sigmaの不確実性があると注意します。日付とidentityを使い、偽の一本線を作りません。

5. 対称性は最も安価なstress test

   nnRandomize、root symmetry、visitsを固定し八つの盤面対称を調べます。第一候補が割れるなら旧modelの誤りでなくsearch不安定と表示します。

6. 新旧二択でなく三つの期限状態

   座標は同じで理由だけ変化、近似同価の中で座標移動、局所結論の真の反転を分けます。それぞれ維持、注記、退役に対応します。

7. 結果の横に解析条件を残す

   エンジン、ネットワーク、ルール、コミ、maxVisits、nnRandomize、rootSymmetry、日付、raw policy、order=0を保存します。更新後に同条件で再解析すれば、本当の変化と既定値の違いを分けられます。