이번 라운드의 성과물은 새 기록이 아니라 통제군이다. 우리 최고 기록을 고전 휴리스틱 대조군에 붙여 보니 학습의 몫이 남지 않았고, 왜 남을 수 없는지가 검색 구조로 설명됐다. 그 다음 질문 — "그렇다면 커밋을 무엇으로 고를 것인가" — 에서 국소 확신도가 무너지고 전역 일관성 검사가 안전 계층을 만들었지만, 그 공의 대부분도 고전 쪽이었다.
1 전파
한 칸이 정해지면 같은 줄·칸의 후보가 줄어드는 연쇄를 끝까지 밀어붙이는 것. 추측이 아니라 규칙이 강제하는 부분만 채운다.
2 커밋
한 칸에 숫자를 확정해 적는 행위. 이 파이프라인에서 커밋은 되돌리지 않으므로, 틀린 커밋 하나가 판 전체를 죽인다.
3 검증기
제안된 답이 규칙을 어기는지 판정하는 장치. 옳은 답을 찾아주지는 않고, 틀린 답을 거르기만 한다.
4 경로-MDL
짧은 프로그램이 더 잘 일반화한다는 원리. 후보 풀이 프로그램 중 설명 길이가 짧은 쪽을 고르는 선택 기준으로 쓴다.
무증강 스도쿠 공식 test에서 예산 2048일 때 0.865를 얻었다. 그런데 신경 분기-순서를 고전 휴리스틱(MRV)으로 통째로 교체해도 결과는 0.865로 똑같았다. 예산별 차이는 +.035 / +.025 / .000 / −.010 / .000이고 다섯 개 모두 신뢰구간이 0을 포함한다. 노드는 18% 적게 썼지만(277 vs 339) wall-clock은 약 30배 손해였다.
FIG 1 · 두 곡선이 겹친다 — 겹침이 메시지다
측정된 양은 아래 차이 행이다. 위 두 곡선의 절대 높이는 겹침을 보이기 위한 상대 눈금이며, 확정 수치로 보고된 것은 예산 2048의 0.865(두 팔 공통)와 예산별 차이 다섯 개다.
이 표를 페이지 맨 위에 둔 이유는 단순하다. 이것이 이 프로젝트의 신뢰성을 세우는 그림이기 때문이다.
검색 중 일어난 분기 결정 72,922회를 전수 집계했다. 후보가 2개인 경우가 99.88%, 3개가 0.12%, 4개 이상은 0%였다. 후보가 2개면 아무리 완벽한 순서라도 최대 1노드를 아낄 뿐이고, 전파가 곧바로 틀린 쪽을 반박한다. 순서-학습의 가치 상한이 구조적으로 봉쇄돼 있었다.
FIG 2 · 분기 결정 72,922회의 후보 개수 분포
레짐을 인위적으로 만들어 보려는 시도도 실패했다. 셀 선택을 완화하자 분기 계수 q가 2.00 → 2.30으로 올라갔지만 차이의 신뢰구간이 0을 포함했고, 전파를 제거하자 q는 오히려 1.52로 떨어졌다.
| 레짐 제조 시도 | 분기 계수 q | 판정 |
|---|---|---|
| 기준 | 2.00 | 후보 2개가 99.88% |
| 셀 선택 완화 | 2.30 | 차이 CI가 0 포함 — 실패 |
| 전파 제거 | 1.52 | 오히려 하락 — 실패 |
커밋 11,105회를 모아 확신도 순으로 잘라 봤다. 상위 0.5%의 정답률이 0.345, 상위 2%가 0.320으로, 전체 평균 0.407보다 낮았다. 해석은 이렇다 — 확신도는 "주변만 보면 강제된 것 같다"는 국소 신호이고, 정답성은 전역 일관성이 결정한다.
FIG 3 · 확신도 상위 구간의 정답률
ANIM A · 커밋은 되돌릴 수 없다
틀린 커밋 하나면 그 아래 전부가 죽는다. 그래서 커밋 선택 신호의 정밀도가 재현율보다 중요하다.
필수 caveat — 두 리뷰어 공통
따라서 표현은 "상위 극단부에서 비단조적"까지만 한다.
커밋하기 전에 숫자를 가배치하고 전파를 끝까지 돌려 모순이 나오는지 보는 전역 검사를 넣었다. 커버리지를 낮출수록 커밋 정밀도가 오르고, 커버리지 2%에서 결합은 0.995에 이른다. 그런데 같은 지점에서 전파 특징만 써도 0.982다.
| 커버리지 | 국소만 | 전파 특징만 | 결합 |
|---|---|---|---|
| 0.5% | 0.382 | 0.945 | 0.982 |
| 1% | 0.369 | 0.973 | 0.991 |
| 2% | 0.333 | 0.982 | 0.995 |
FIG 4 · 커버리지 → 커밋 정밀도 (전파 특징만 선을 반드시 함께 본다)
필수 caveat
0.995의 대부분은 전파 특징 단독(0.982)으로 설명된다. 결합에서 전파만을 뺀 몫은 +0.0136이고 그 신뢰구간 하한이 0에 닿는다. "국소 0.333 vs 결합 0.995"만 보여 주면 오독이다.
ANIM B · 전역 검사 — 가배치 → 전파 → 모순 → 되돌림
전역 검사는 옳은 답을 찾아 주지 않는다. 커밋 직전에 틀린 것을 걸러 내는 안전 계층일 뿐이고, 그 걸러 내기의 대부분은 고전 전파가 한다.
검색 없는 레짐, 공식 test n=400에서 사전등록 확증을 돌렸다(시드2, 문턱 재조정 없음, 페어드 부트스트랩). 게이트를 붙인 팔이 전파 단독을 앞섰다. 아프고 중요한 점은 따로 있다 — 기존 배포 방식이 전파보다 나빴다. 확신도 커밋이 전파가 스스로 풀 퍼즐까지 망치고 있었다.
| 방식 (검색 없는 레짐 · 공식 test n=400) | 해결률 |
|---|---|
| 전파 단독 | 0.0225 |
| 기존 배포 (확신도 τ=0.6 + 전파) 전파보다 나쁨 | 0.0150 |
| 게이트(전역+국소) + 전파 | 0.0675 |
FIG 5 · 3팔 비교 — 그리고 이 축 밖에 있는 참조선
에러 표시는 팔별 구간이 아니라 게이트−전파 차이의 구간이다. 주 추정량 +0.0450, one-sided 95% 하한 +0.0250, CI [+0.0225, +0.0700] — 스펙에 보고된 값이 차이 구간뿐이라 그대로 그렸다.
필수 caveat — 다섯 가지
파이프라인 자체는 섰다. 결정 구조를 86토큰 이산 캔버스로 인코딩했고(원본 왕복 복원 validity 보존 1.000), 스도쿠와 같은 재귀 모델을 무증강으로 학습해 100% 디코드 가능, 구조 유효 약 60%, 밴드갭 명중(±0.3eV) 4.4%를 얻었다. 그리고 학생 확신도로 좋은 후보를 고를 수 있는지에 대한 사전등록 확증은 실패했다.
철회 — 우리가 틀린 부분
우리는 이후 "스도쿠와 같은 병리(확신도 역상관)가 크리스탈에서도 재현됐다(AUC 0.315)"고 보고했다. 적대검토에서 원자료를 재계산한 결과 실제 확신도 AUC는 0.597이었다. 역상관이 아니다.
0.315는 교차검증 fold가 만든 아티팩트였고, 우리가 바로 전날 ARC에서 발견해 기록해 둔 함정과 같은 계열이었다. 이 이식 주장은 철회한다.
남는 것은 이만큼이다. 전역 구조 특징(부피·밀도·최소원자간거리·조성)이 선택에 신호를 주기는 하지만 쉬운 타깃에서만 그렇다(타깃별 AUC 0.72~0.73 vs 어려운 타깃 0.56 / 0.50). 양성 표본은 56개이고, 분석 스크립트를 보존하지 않아 현재 재현이 불가능하다.
무증강 신경 생성은 훈련쌍을 0.9877로 정확 재현했지만, 같은 과제의 test 입력으로의 전이는 0.012였다. 재귀 깊이 K=1/2/4/6 전부 무익했다. 암기는 되고 귀납은 안 됐다는 판정으로 이 팔은 폐쇄했다.
| DSL + 검증기 4분할 | 해결률 |
|---|---|
| ARC-1 train | 8.25% |
| ARC-1 eval | 1.25% |
| ARC-2 train | 3.80% |
| ARC-2 eval | 0.00% |
결정적인 관찰: 선택의 여지 자체가 eval에는 없다. 과제-내 oracle − 무작위 여지 = 0.000 — 과제마다 후보가 전부 맞거나 전부 틀리기 때문이다. 고를 것이 없는 곳에서는 어떤 선택 신호도 일할 자리가 없다.
MDL(짧은 프로그램이 일반화) 방향성은 22승 0패로 일관됐다. 다만 사전등록 전체 기준은 실패했다. 같은 파일에서 하위집단 통계(18/18, p=9.7e-4)가 나오지만 이는 사후에 잡은 하위집단이고, 같은 파일의 공식 판정은 FAIL이며 동점 처리 방식 차이로 내부 모순이 있다. 탐색적 관찰 이상으로 쓸 수 없다.
MRV 대조군이 첫 헤드라인을 뒤집었다 — 학습 기여 0.
leave-one-out 확률 추정이 AUC를 역전시키는 아티팩트를 ARC에서 발견했다(0.121 / 0.194).
같은 함정에 이틀 뒤 크리스탈에서 다시 빠졌다(0.315). 적대검토가 잡았다.
클러스터 부트스트랩에서 set()이 중복을 제거해 분산을 왜곡하던 버그를 발견하고 수정했다.
헌법 감사에서 위반 1건(TTT lr=1e-2)을 적발·수정하고 원장에 기록했다. 결과가 전부 0이라 결론은 무오염이다.
NEXT 1
검색 예산 sweep
검색-없음 → 제한 검색 → 완전 검색을 연속으로 훑어, 동일 compute에서 baseline / 국소 / 전역 / 결합을 비교한다(성공률뿐 아니라 wall-clock·노드수·게이트 비용 포함). 현재 가장 큰 반론을 직접 공격하는 실험이다.
NEXT 2
학습-없는 전역 특징 팔의 end-to-end
§5에서 미실행으로 남은 통제군. 이것 없이는 학습 고유의 몫을 분리할 수 없다.
NEXT 3
독립 반복
여러 시드와 새 퍼즐 배치에서 같은 결과가 나오는지 확인한다.
MatterGPT_RL build log · 2026-07-19 · 수치·caveat은 codex × fable 수렴 스펙 기준 back to overview