이미지를 생성하면 멀티모달 문제를 더 잘 풀까? UniG2U-Bench의 반례

항상 그렇지는 않습니다. UniG2U-Bench에서는 이미지를 먼저 생성한 뒤 답하는 방식이 전반적으로 직접 답변보다 약했고, 공간 회전과 착시처럼 시각적 변환 자체가 필요한 문제에서만 뚜렷한 이득이 나타났습니다.

논문은 “만들 수 있으면 이해한 것”이라는 직관을 통합 멀티모달 모델에 그대로 적용할 수 있는지 묻습니다. 이미지 이해와 생성을 한 모델이 모두 수행한다는 사실과, 생성 과정을 추론 도구로 쓸 때 정답률이 오른다는 주장은 별도로 검증해야 합니다.

G2U는 생성 과정을 중간 추론으로 넣는다

Generation-to-Understanding, G2U는 모델이 질문에 바로 답하는 대신 중간 이미지를 만들고 그 결과를 보고 답하게 합니다. 도형을 머릿속으로 돌리는 대신 실제 회전 결과를 그린 뒤 판단하는 방식과 비슷합니다.

UniG2U-Bench는 이를 30개 하위 과제와 일곱 영역으로 나눕니다. 머릿속 변환만 필요한 implicit transformation과 실제 이미지 변화가 필요한 explicit transformation을 구분하고, 30개가 넘는 모델을 평가합니다.

이 설계의 핵심은 생성 품질과 최종 이해 정확도를 연결해 볼 수 있다는 점입니다. 중간 이미지가 맞으면 유용한 작업 기억이 되지만, 틀리면 다음 답변이 그 오류를 사실처럼 받아들입니다.

Generate-then-Answer가 전체 점수를 낮춘 이유

통합 모델이 기반 VLM보다 이해 성능이 낮은 경우가 있었고, Generate-then-Answer 방식은 평균적으로 직접 답변보다 성적을 떨어뜨렸습니다. 모델이 생성과 이해를 함께 학습했다고 해서 두 능력이 자동으로 서로 강화되지 않는다는 결과입니다.

오류 전파가 가장 직접적인 설명입니다. 회전 방향이나 객체 수를 잘못 그리면 최종 추론은 원래 입력이 아니라 잘못된 중간 결과를 풉니다. 생성 단계가 추가되면서 계산과 지연도 늘고, 검증 없이 한 장을 믿으면 오류를 되돌릴 기회가 없습니다.

따라서 통합 모델의 생성 기능은 항상 켜는 기본 단계보다, 이득을 예측할 수 있을 때 호출하는 도구에 가깝습니다.

공간 지각과 착시에서는 왜 도움이 됐나

예외는 공간 지각, 시각적 변환과 착시 과제였습니다. 3D 회전, 전개도, 복잡한 패턴처럼 언어로만 상태를 유지하기 어려운 문제에서는 중간 이미지를 외부 작업 공간으로 쓰는 이점이 있었습니다.

이 결과도 “그리면 공간 문제가 모두 해결된다”는 뜻은 아닙니다. 생성 이미지가 실제 변환 규칙을 지켰는지 확인해야 하며, 다단계 문제에서는 작은 왜곡이 다음 단계에 누적될 수 있습니다. 착시에서 유용했던 전략을 일반 상식 질문에 그대로 적용하면 비용만 늘 수 있습니다.

Hugging Face 논문 페이지에서 평가 범위를 볼 때는 평균뿐 아니라 task별 직접 답변과 G2U의 차이를 확인하는 편이 좋습니다.

제품에서는 생성 호출 조건을 학습한다

로봇 계획이나 기하 교육 도구에 G2U를 넣기 전에는 “언제 그릴 것인가”를 먼저 결정해야 합니다.

1. 질문을 공간 변환, 일반 이해, 지식 회상으로 나눈다.
2. 직접 답변과 생성 후 답변을 모두 얻는 대조군을 만든다.
3. 중간 이미지가 입력 조건을 지켰는지 별도로 채점한다.
4. 정확도 상승과 추가 지연, 생성 비용을 함께 기록한다.
5. 생성이 반복해서 손해를 낸 과제에서는 직접 답변을 기본값으로 둔다.

고위험 로봇 행동에서는 생성된 장면을 실제 센서 상태로 착각해서는 안 됩니다. UniG2U-Bench가 주는 실용적 결론은 생성 능력이 이해의 증거라는 것이 아니라, 일부 시각 문제에서는 검증 가능한 중간 표현으로 쓸 수 있다는 것입니다.

중간 이미지의 어느 부분을 검증해야 하나

회전 문제라면 객체 종류와 개수, 회전축, 방향, 각도가 원래 지시와 맞아야 합니다. 전개도 문제에서는 면의 연결 관계와 표식 위치를 확인해야 하며, 착시는 비교하려는 선, 색, 경계를 보존해야 합니다. 단순히 보기 좋은 이미지인지 평가하면 추론에 필요한 구조 오류를 놓칩니다.

검증은 생성 모델 자신에게만 맡기지 않는 편이 좋습니다. Symbolic rule이나 좌표 계산이 가능한 task는 자동 규칙으로 검사하고, 어려운 장면은 다른 VLM과 사람 평가를 표본에 사용합니다. 조건을 어긴 이미지에서는 답변 단계로 넘어가지 않고 직접 답변이나 다른 도구로 fallback할 수 있습니다.

여러 장을 생성해 다수결하는 방법도 동일한 bias가 반복되면 해결되지 않습니다. 후보 간 다양성과 입력 조건 만족률을 보고, 서로 다른 결과가 나오면 불확실성을 표시해야 합니다. 최종 정답만 맞았더라도 중간 이미지가 틀렸다면 우연히 맞은 사례로 분리합니다.

Generate-to-Understanding을 언제 호출할까

질문 분류기는 공간 변환, 시각 비교, 지식 회상, text reading처럼 task를 나눌 수 있습니다. 생성이 이득을 보인 범주만 G2U로 보내고 나머지는 직접 답변합니다. 분류 confidence가 낮으면 두 경로를 동시에 실행해 검증하거나 비용이 낮은 직접 답변을 기본으로 둘 수 있습니다.

Routing 자체의 오류도 평가해야 합니다. 실제로 생성이 도움이 되는 질문을 놓친 비율과 불필요한 생성 호출 비율을 기록합니다. 생성 model과 이해 model의 version이 바뀌면 과거 routing 규칙이 맞지 않을 수 있으므로 task별 이득 표를 다시 만듭니다.

사용자 지연 요구도 조건입니다. 교육 tool에서 학생이 도형 변환 과정을 보는 것은 추가 시간이 설명 가치가 될 수 있지만 실시간 assistant에서는 같은 지연이 불편할 수 있습니다. 정확도 상승이 작은데 image generation 비용이 큰 task는 기능이 가능해도 호출하지 않는 것이 합리적입니다.

제품 평가 세트는 어떻게 구성할까

공간 문제에는 회전 방향과 각도, 가림, 대칭 물체를 단계적으로 어렵게 넣습니다. 일반 이해에는 생성 없이 풀어야 하는 OCR, 상식, 세부 관찰을 포함해 G2U가 해를 끼치는 조건을 찾습니다. 한 task당 직접 답변, 생성 후 답변, 검증 후 답변의 세 경로를 비교할 수 있습니다.

최종 정확도 외에 중간 이미지 조건 만족률, 추가 latency, GPU 시간, fallback 비율을 기록합니다. 같은 답을 반복 실행했을 때 경로와 결과가 얼마나 바뀌는지도 봅니다. 평균 점수가 오르더라도 중요한 class에서 중간 이미지 환각이 늘면 배포 범위를 제한해야 합니다.

사람 평가자는 원본과 생성 이미지를 함께 보고 어느 조건이 바뀌었는지 표시합니다. 생성 이미지가 설득력 있어 보인다는 이유로 원본을 잘못 기억할 수 있으므로 먼저 원본 조건을 기록한 뒤 후보를 보여 주는 절차가 좋습니다. 이 과정이 G2U를 추론 보조 도구로 쓰면서 생성물을 증거로 오해하지 않게 합니다.

어떤 실패에서 직접 답변으로 돌아갈까

Object 수, 색, 위치가 지시와 다르거나 image 검증 confidence가 낮으면 생성 결과를 폐기합니다. Timeout과 generation failure도 빈 이미지로 답변을 계속하지 않고 직접 경로로 전환합니다. 안전 관련 질문은 중간 이미지가 통과해도 실제 sensor와 rule 기반 check를 우선합니다.

Fallback 이유를 log에 남기면 G2U가 자주 실패하는 task를 알 수 있습니다. 생성 품질을 개선할지 routing 범위에서 제외할지 판단하고, 이득이 없는 범주에는 추가 model call을 계속 쓰지 않습니다. 통합 모델의 장점은 모든 기능을 항상 실행하는 데 아니라 필요한 기능을 검증 가능한 도구로 선택하는 데 있습니다.

사용자에게 중간 이미지를 보여 줄 때는 “입력에서 관측한 장면”이 아니라 “문제를 풀기 위해 모델이 만든 변환 후보”라고 표시해야 합니다. 원본과 나란히 두고 달라진 요소를 강조하면 사람이 조건 위반을 찾기 쉽고, 잘못된 그림이 최종 답의 근거처럼 보이는 위험도 줄어듭니다.

함께 읽으면 이해가 이어지는 글

• 이미지 이해와 생성이 서로 방해한다면? Cheers의 의미, 디테일 토큰 분리 — 한 모델에서 이미지 이해와 생성을 함께 할 때 생기는 표현 충돌을 Cheers가 의미, 디테일 경로로 나누는 방식과 비용 수치의 조건을 살펴봅니다.
• 15B Phi-4 Vision은 왜 UI, 수식 추론을 노리나: 동적 해상도와 모드 토큰 — Phi-4-reasoning-vision-15B의 동적 해상도 입력, 데이터 정제, 직접 답변, 추론 모드와 로컬 도입 전 확인할 한계를 정리합니다.
• 온디바이스 VLM은 모든 이미지를 고해상도로 봐야 할까? HyperVL의 VRC 판단 — HyperVL이 저해상도 thumbnail로 입력 난도를 먼저 판단하고 필요한 이미지에만 고해상도 branch를 쓰는 이유, token 절감과 routing 실패의 대가를 함께 살펴봅니다.

자주 묻는 질문

이미지를 잘 생성하는 모델은 이미지 이해도 잘하나요?

두 능력을 한 모델이 수행할 수 있다는 것과 서로를 자동으로 강화한다는 것은 다릅니다. UniG2U-Bench에서는 생성 후 답변이 평균적으로 직접 답변보다 낮았고 task별 검증이 필요했습니다.

어떤 질문에서 중간 이미지를 만드는 편이 유리한가요?

공간 회전, 전개도, 착시처럼 시각 상태를 실제로 변환해 두는 일이 도움이 되는 문제에서 이득이 나타났습니다. 지식 회상이나 일반 설명에는 생성 비용과 오류 전파가 더 클 수 있습니다.

생성된 중간 이미지를 실제 센서 관측처럼 사용해도 되나요?

안 됩니다. 중간 이미지는 모델이 만든 가설적 작업 공간이며 원래 장면의 증거가 아닙니다. 로봇이나 안전 판단에서는 실제 입력 조건과 일치하는지 별도 검증해야 합니다.