모델 고고학 · 20
KataGo의 답에도 유통기한이 있을까
같은 국면도 network, engine, 탐색량, 대칭 방향을 바꾸면 첫 후보가 움직입니다. 가짜 재실험을 만들지 않고 오래된 분석을 인용할 수 있는지 판정하는 재현 가능한 답변 passport를 설계합니다.
답은 좌표 하나가 아니라 실행 조건 묶음
KataGo 출력은 network, engine 버전, rules, komi, search budget, 대칭과 random 설정에 달렸습니다. ‘Q10 추천’만 저장하면 재현 조건 대부분이 사라집니다.
같은 판을 두 답변 passport로 비교해 좌표뿐 아니라 실험 조건을 봅니다. raw policy와 탐색 첫 후보를 분리
공식 설명에서 search는 raw policy를 바꾸지 않고 order=0은 탐색 순위입니다. 서로 다른 영역을 고를 수 있어 model drift와 search drift를 따로 보고해야 합니다.
A는 network의 첫 감각, B는 search 뒤 order=0이며 서로 다른 질문입니다. architecture 변경은 한 visit의 값을 바꿈
KataGo 1.17은 Transformer가 이전 convnet보다 visit당 강하고 흔히 더 빠르다고 설명합니다. 같은 visits가 같은 계산량이나 판단 품질을 뜻하지 않습니다.
같은 visits를 같은 계산으로 보지 않고 architecture와 실제 비용을 함께 남깁니다. network Elo는 training run 안에서 읽기
공개 archive는 역사 checkpoint를 남기지만 근사 Elo는 run 사이 비교가 안 되고 약 2 sigma 불확실성이 있다고 경고합니다. 날짜와 identity만 연결합니다.
checkpoint를 run별 lane에 놓고 비교 불가능한 Elo를 한 선으로 잇지 않습니다. 대칭은 가장 값싼 stress test
nnRandomize, root symmetry와 visits를 고정한 뒤 여덟 판 대칭을 봅니다. 첫 후보가 갈리면 옛 model 오류가 아니라 search 불안정으로 표시합니다.
같은 여덟 방향이 한 후보 cluster로 돌아오지 않으면 정설로 쓰기 이릅니다. 신구 이분법 대신 세 가지 만료 상태
좌표는 같고 이유만 변화, 거의 동가인 좌표 사이 이동, 국부 결론의 진짜 반전을 나눕니다. 각각 유지, 주석, 퇴역으로 처리합니다.
유지·주석·퇴역이 단순 model 업그레이드보다 편집 판단에 유용합니다. 결론과 답변 passport를 함께 공개
engine, network, rules, komi, maxVisits, nnRandomize, rootSymmetry, 날짜, raw policy와 order=0을 저장하면 미래에 같은 조건으로 다시 측정할 수 있습니다.
답변 passport가 오래된 screenshot을 재실행 가능한 연구 기록으로 바꿉니다.
1차 자료
오래된 AI 분석 인용 전
- engine과 network를 식별한다
- rules와 komi를 저장했다
- raw policy와 order=0을 나눴다
- random과 대칭 조건을 고정했다
- 만료를 신구 이분법으로 쓰지 않는다