モデル考古学 · 20

KataGoの答えに賞味期限はあるか

同じ局面でもnetwork、engine、探索量、対称方向を変えると第一候補が動きます。架空の再計算を作らず、古い解析を引用できるか判断する再現可能な「答えのpassport」を設計します。

1. 答えは座標一つでなく実行条件の集合

   KataGo出力はnetwork、engine版、rules、komi、search budget、対称性、random設定に依存します。「Q10推奨」だけでは再現に必要な条件がほぼ残りません。

2. raw policyと探索第一候補を分離する

   公式説明ではsearchはraw policyを書き換えず、order=0は探索後の順位です。別領域を選ぶことがあるためmodel driftとsearch driftを分けます。

3. architecture変更は一visitの価値を変える

   KataGo 1.17はTransformerを従来のconvnetよりvisit当たり強く、しばしば高速と説明します。同じvisitsでも計算量と判断品質は一致しません。

4. network Eloはtraining run内で読む

   公開archiveは歴史checkpointを残す一方、近似Eloはrun間比較不能で約2 sigmaの不確実性があると注意します。日付とidentityを使い、偽の一本線を作りません。

5. 対称性は最も安価なstress test

   nnRandomize、root symmetry、visitsを固定し八つの盤面対称を調べます。第一候補が割れるなら旧modelの誤りでなくsearch不安定と表示します。

6. 新旧二択でなく三つの期限状態

   座標は同じで理由だけ変化、近似同価の中で座標移動、局所結論の真の反転を分けます。それぞれ維持、注記、退役に対応します。

7. 結論とともに答えpassportを公開

   engine、network、rules、komi、maxVisits、nnRandomize、rootSymmetry、日付、raw policy、order=0を保存します。将来同じ条件を再実行できます。