MM-Zero의 “Zero Data”는 외부 Image Dataset 없이 학습 문제를 만든다는 뜻이지, 사전학습 Model, 합성 데이터, GPU 연산까지 0이라는 뜻은 아닙니다.
Paper ID 2603.09206은 모델이 문제를 제안하고, Code로 Image를 렌더링하고, 그 Image를 다시 푸는 자기진화 Loop를 제시합니다. Diffusion Model로 매번 실사 이미지를 생성하는 대신 Python, Matplotlib, SVG 같은 결정 가능한 Renderer를 이용해 시각 문제와 정답의 연결을 통제합니다.
MM-Zero는 하나의 Base Model을 세 역할로 나눕니다.
| 역할 | 하는 일 | 실패 지점 |
|---|---|---|
| Proposer | 시각 개념과 질문 제안 | 쉬운 문제 반복, 모호한 지시 |
| Coder | 질문을 실행 Code로 변환 | Syntax, Runtime, Layout 오류 |
| Solver | 렌더링 Image를 보고 답변 | 시각 인식, 추론 오류 |
Proposer의 자연어만으로는 실제 시각 입력이 없습니다. Coder가 이를 좌표, 도형, Text가 있는 Code로 바꾸고 실행해 Image를 만들면서 Solver가 학습할 환경이 생깁니다. 같은 Renderer를 쓰면 Ground Truth를 Code에서 계산하거나 점검할 수 있다는 점이 강점입니다.
세 역할은 GRPO로 함께 학습됩니다. Coder의 Code가 실행되지 않으면 Execution Feedback으로 감점하고, 렌더링 결과가 Proposer의 의도와 다르면 Visual Verification으로 보상을 낮춥니다. 난이도 Reward는 계속 원이나 네모 같은 쉬운 문제만 내는 전략을 막는 역할을 합니다.
그렇다고 Reward가 데이터 품질을 완벽히 보장하지는 않습니다. 실행되는 Code도 잘못된 정답을 만들 수 있고, Visual Verifier가 놓치는 모순이 있을 수 있습니다. Solver가 특정 Renderer의 Font, 색상, 배치 패턴을 외우는 방식으로 점수만 높일 가능성도 확인해야 합니다.
외부 Image를 구매하거나 크롤링하지 않아 Licensing 부담을 줄일 수 있지만, 세 역할 Model의 추론과 GRPO 학습, 수많은 Sandbox Process가 필요합니다. 데이터 수집비 대신 GPU, CPU, Storage와 Reward 설계 비용이 생깁니다.
합성 가능한 조합도 무한하지 않습니다. Renderer와 Proposer가 표현할 수 있는 Domain 안에서 다양성이 만들어집니다. Font, Chart Style, Coordinate 범위가 좁으면 대량 생성해도 같은 분포를 반복할 수 있습니다. 비용은 “0원”이 아니라 외부 Dataset에서 계산 가능한 합성 환경으로 이동합니다.
Geometry, Chart, UI, Diagram처럼 규칙이 명시적인 Domain에는 Python, SVG가 잘 맞습니다. 반면 사람 표정, 자연광, 복잡한 재질과 가림 같은 Photorealistic Scene은 간단한 Code Renderer로 재현하기 어렵습니다. 합성 문제에서 좋아진 VLM이 실제 사진에서도 같은 추론을 한다고 볼 수 없습니다.
Domain 이동을 확인하려면 합성 Test뿐 아니라 사람이 검수한 실제 Image 세트를 별도로 유지해야 합니다. Renderer 종류와 Style을 바꿔도 성능이 유지되는지, Image가 아닌 Code Artifact를 단서로 답하는지 확인합니다. “외부 데이터 0”은 일반화 평가를 생략할 이유가 아닙니다.
사내 Dashboard, Chart나 HMI UI처럼 Code로 정확히 만들 수 있는 한 Domain을 고릅니다. Proposer가 낸 문제의 유효율, Coder 실행 성공률, 정답 일치율, Solver 성능과 한 문제당 연산량을 단계별로 기록합니다. 실제 Image Benchmark를 마지막 관문으로 둡니다.
생성 Code는 Network와 Host File에 접근할 수 없는 Sandbox에서 시간, Memory를 제한해 실행해야 합니다. 세 역할을 동시에 학습하는 전체 Framework가 부담스럽다면 먼저 고정된 Proposer와 Renderer로 합성 Dataset만 만들어 효과를 비교할 수 있습니다. MM-Zero의 핵심은 데이터가 필요 없다는 선언보다 Code가 검증 가능한 시각 환경 생성기가 될 수 있다는 점입니다.
문법적으로 실행되는 코드라도 질문과 이미지가 맞지 않을 수 있습니다. 질문은 빨간 막대의 개수를 묻는데 코드가 색을 임의로 바꾸거나, 정답 계산이 렌더링 결과와 다른 변수를 참조할 수 있습니다. 질문, 코드에서 계산한 정답, 렌더링 이미지의 세 항목이 서로 일치하는지 단계별 검사가 필요합니다.
사람이 판정한 작은 표본에서 모호한 질문, 여러 답이 가능한 문제, 화면 밖 요소와 읽기 어려운 텍스트를 표시합니다. 자동 검증기가 통과시킨 오류 비율을 측정해야 대규모 합성 데이터의 유효량을 추정할 수 있습니다. 실행 실패만 제거하고 의미 오류를 남기면 Solver가 잘못된 정답을 학습할 수 있습니다.
Coder는 복잡한 장면을 피하고 항상 실행되는 단순 코드를 만들 수 있고, Proposer는 난이도 보상을 받기 쉬운 특정 패턴만 반복할 수 있습니다. Solver는 시각 내용을 이해하기보다 렌더러의 고정 위치나 색상 규칙을 단서로 답할 수 있습니다. 각 역할의 보상이 높아져도 실제 문제 다양성과 일반화가 함께 오르는지 확인해야 합니다.
보상 항목을 하나씩 제거한 절제 실험과 사람이 만든 평가 세트를 사용합니다. 생성 문제의 개념 분포, 코드 길이, 객체 수, 정답 분포가 시간이 지나며 한쪽으로 무너지는지 추적합니다. 동일한 개념을 다른 스타일과 렌더러로 다시 그렸을 때 성능이 떨어지면 내용보다 인공 흔적을 배운 신호일 수 있습니다.
문제 수가 많아도 같은 막대그래프의 색과 숫자만 바뀌면 유효 다양성은 낮습니다. 개념, 객체 수, 공간 관계, 텍스트 길이, 가림, 렌더러와 스타일을 축으로 나눠 분포를 기록합니다. 정답 클래스가 균형을 이루는지와 비슷한 코드 템플릿이 훈련과 평가에 동시에 들어갔는지도 확인해야 합니다.
난이도는 단순히 객체를 많이 넣는 것으로 정의하면 안 됩니다. 시각 인식이 어려운 문제와 여러 단계 추론이 필요한 문제를 구분하고 Solver의 실패 원인을 기록합니다. 너무 어려워 사람도 답할 수 없는 문제는 학습 신호가 아니라 잡음이 될 수 있습니다.
합성 평가에는 학습에 사용하지 않은 렌더러, 글꼴, 색상과 배치를 넣습니다. 실사 평가는 사람이 정답을 검수한 사진, 문서, 차트로 구성하고 합성 학습 전후를 같은 모델에서 비교합니다. 전체 평균뿐 아니라 합성 도메인과 실제 도메인의 변화가 반대 방향인지 살펴야 합니다.
합성 데이터를 기존 실제 데이터와 섞을 경우 혼합 비율을 바꿔 퇴행 지점을 찾습니다. 합성에서 큰 개선이 나도 실제 사진 성능이 내려가면 적용 목적에 맞지 않을 수 있습니다. 실제 이미지 평가를 학습 보상에 직접 사용하지 않았다면 그 결과가 독립된 검증에 더 가깝습니다.
Proposer와 Coder 추론, 샌드박스 시작과 렌더링, 시각 검증, Solver 학습과 GRPO 업데이트를 따로 계측합니다. 문제 하나가 유효 데이터로 채택되기까지 실패한 코드와 재시도 비용도 포함해야 합니다. 외부 데이터 구매가 없다는 사실과 총 학습 비용이 낮다는 주장은 별개의 문제입니다.
먼저 생성 파이프라인을 고정하고 오프라인 데이터만 만들어 유효율을 측정하면 세 역할의 동시 학습보다 원인을 추적하기 쉽습니다. 그 다음 자기진화 루프가 추가한 성능이 연산 증가를 정당화하는지 비교합니다. 저장소와 논문의 공개 범위가 전체 학습을 재현하기에 충분한지도 확대 전에 확인해야 합니다.
아닙니다. 외부 이미지 데이터셋 없이 문제를 합성한다는 뜻이며 사전학습 모델, 렌더링 코드, GRPO 학습과 GPU, CPU 연산은 여전히 필요합니다.
그렇게 단정할 수 없습니다. 렌더러의 글꼴, 색, 배치 단서를 외울 수 있으므로 다른 렌더러와 사람이 검수한 실제 이미지 평가에서 일반화를 확인해야 합니다.
차트나 UI처럼 코드로 정답을 계산할 수 있는 한 도메인에서 문제 유효율, 코드 실행률, 정답 일치율과 문제당 비용을 측정한 뒤 실제 이미지 평가를 추가하는 편이 좋습니다.
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.