VLM의 잠재 추론은 정말 이미지를 쓰고 있나: CapImagine 연구가 던진 질문

이 연구가 내린 결론은 잠재 추론 전체가 가짜라는 것이 아니라, 조사한 방식에서는 잠재 토큰이 이미지 변화와 최종 답을 충분히 매개하지 못했고 명시적 캡션이 더 나은 대안이었다는 것입니다. 결과는 사용한 모델, 과제, 개입 방법에 한정되므로 잠재 표현이라는 방향 전체의 실패로 확대하면 안 됩니다. 실무에서는 최종 정확도만 보지 말고 핵심 시각 요소를 바꿨을 때 중간 표현과 답이 함께 변하는지 대조해야 합니다.

왜 최종 점수보다 인과 연결을 봤나요?

일반 벤치마크 점수만으로는 중간 잠재 토큰이 실제 추론에 쓰였는지 알 수 없습니다. 모델이 이미지와 무관한 언어 패턴으로 답을 맞힐 수도 있기 때문입니다. 연구는 인과 매개 분석으로 입력 이미지가 잠재 토큰을 바꾸는지, 잠재 토큰을 조작했을 때 답이 바뀌는지를 나눠 살핍니다.

보고된 결과는 두 단절을 지적합니다. 이미지를 바꿔도 잠재 표현이 충분히 달라지지 않는 Input–Latent Disconnect와, 잠재 표현을 바꿔도 답에 미치는 영향이 작은 Latent–Answer Disconnect입니다. 서로 다른 이미지의 잠재 토큰이 높은 유사도를 보였다는 probing 결과도 함께 제시됩니다.

상관만 보면 정답 이미지에서 특정 잠재 패턴이 자주 나타난다는 사실은 알 수 있지만 그 패턴이 답을 만든 원인인지는 알 수 없습니다. 인과 매개 분석은 이미지 개입이 잠재 상태를 거쳐 답으로 전달되는 경로를 분리하려는 시도입니다. 입력만 바꾸는 검사와 중간 표현만 바꾸는 검사가 각각 두 단절을 겨냥합니다.

인과 개입은 어떤 대조군과 함께 봐야 하나요?

핵심 객체만 바꾼 반사실 이미지와 색, 배경처럼 정답과 무관한 요소만 바꾼 통제 이미지를 나눕니다. 정답을 바꿔야 하는 개입에는 잠재와 답이 함께 반응하고, 무관한 개입에는 답이 안정적이어야 합니다. 모든 이미지 변화에 잠재가 크게 움직이는 것도 좋은 시각 추론의 증거는 아닙니다.

잠재 토큰을 조작할 때는 표현을 모델이 학습에서 본 범위 밖으로 보내지 않는지 확인해야 합니다. 과도한 교체로 자연스럽지 않은 내부 상태를 만들면 답이 안 바뀐 결과를 Latent–Answer Disconnect로 해석하기 어렵습니다. 같은 질문의 실제 샘플에서 얻은 표현을 교환하거나 변화 크기를 여러 수준으로 나눠 결과가 일관적인지 봅니다.

답이 우연히 맞는 문제도 있습니다. 선택지 분포나 질문 문구만으로 높은 점수를 얻을 수 있는 과제에서는 이미지를 가린 기준선과 언어만 본 기준선을 반드시 포함합니다. 이미지 없이도 맞히는 비율이 높다면 잠재 경로의 약함과 데이터 지름길을 함께 논의해야 합니다.

잠재 토큰의 높은 유사도는 무엇을 뜻하나요?

서로 다른 이미지의 표현이 비슷하다는 결과는 시각 차이를 충분히 보존하지 못했다는 단서지만, 사용하는 유사도와 표현 위치에 따라 해석이 달라집니다. 동일한 객체를 다른 각도에서 본 이미지는 과제에 필요한 의미가 같을 수 있고, 미세한 위치 차이는 벡터 전체 유사도에 작게 나타나도 특정 차원에서 답을 바꿀 수 있습니다.

레이어, 토큰 위치별 probing과 실제 답에 대한 개입을 함께 봐야 합니다. 선형 probe가 정보를 읽지 못했다고 표현에 정보가 전혀 없다고 단정할 수 없고, probe가 잘 읽는다고 원래 모델이 그 정보를 사용한다고 볼 수도 없습니다. 정보 존재와 사용을 분리하는 것이 이 연구 질문의 핵심입니다.

CapImagine은 어떤 시각 정보를 밖으로 꺼내나요?

CapImagine은 내부 벡터에만 맡기지 않고 먼저 이미지 내용을 텍스트로 묘사한 뒤 그 설명을 사용해 질문에 답합니다. 이미지에서 읽은 객체와 관계가 문자열로 드러나므로, 최종 답과 근거 사이의 연결을 사람이 확인하고 수정하기 쉽습니다.

이 방식의 이점은 “생각 과정을 길게 쓰기” 자체가 아닙니다. 캡션이 질문에 필요한 시각 정보를 실제로 담아야 합니다. 객체 수, 위치, 속성처럼 검증 가능한 필드를 정하고, 캡션을 가린 조건과 제공한 조건의 답변 차이를 비교해야 합니다.

텍스트 캡션은 객체, 속성, 관계를 사람이 읽을 수 있다는 장점이 있지만 시각 정보를 언어로 압축하는 병목입니다. 캡션에 없는 거리, 작은 글자와 질감은 이후 답변 모델이 다시 이미지에서 복구할 수 없습니다. 필요한 정보를 빠뜨린 실패와 잘못된 정보를 만들어 낸 실패를 구분해야 합니다.

범용 캡션과 질문 중심 캡션은 언제 달라지나요?

범용 캡션은 한 번 생성해 여러 질문에 재사용할 수 있지만 장면의 모든 세부를 담으려면 길어집니다. 질문 중심 캡션은 “몇 개”, “왼쪽에 무엇”처럼 필요한 필드에 집중할 수 있으나 질문 문구가 잘못된 가정을 포함하면 그 방향으로 이미지를 오독할 수 있습니다. 같은 이미지에 여러 질문을 던지는 제품이라면 생성 비용과 누락 위험을 함께 비교합니다.

객체 수, 색, 상대 위치처럼 구조화된 필드를 먼저 만들고 자유 서술을 뒤에 붙이면 검증 지점을 분명히 할 수 있습니다. 다만 구조화 스키마가 과제에 필요한 모든 관계를 포함하는지 확인해야 하며, 필드가 비어 있을 때 모델이 추측으로 채우지 않게 해야 합니다.

캡션을 고쳐 넣었을 때 답이 회복되는 사례는 캡션 병목을 보여 줍니다. 반대로 정확한 캡션을 줘도 답이 틀리면 이후 언어 추론이 병목일 수 있습니다. 이미지 읽기와 답 생성의 오류를 분리하면 더 긴 캡션만 요구하는 식의 잘못된 개선을 피할 수 있습니다.

실무에서 어떤 검사를 같은 조건으로 재현해야 하나요?

첫째, 같은 질문에 이미지의 핵심 객체만 바꿔 답과 중간 표현이 함께 바뀌는지 봅니다. 둘째, 캡션에 일부러 잘못된 관계를 넣어 모델이 이미지와 텍스트 중 무엇을 따르는지 확인합니다. 셋째, 캡션 없이 맞힌 사례와 캡션 때문에 틀린 사례를 분리합니다.

이 연구는 명시적 상상이 조사한 벤치마크에서 유용하다는 근거를 주지만 모든 시각 과제를 언어로 완전히 치환할 수 있다는 뜻은 아닙니다. 미세한 질감, 정확한 거리, 복잡한 공간 배치는 캡션 과정에서 손실될 수 있습니다. 제목의 “Not Yet”처럼 현재 구현의 문제와 잠재 표현이라는 방향 자체의 한계를 구분해야 합니다.

또한 캡션이 길어질수록 답에 필요 없는 묘사가 늘고 추론 비용도 커질 수 있습니다. 질문을 보기 전 만든 범용 캡션과 질문을 본 뒤 만든 목적형 캡션을 나눠 비교하고, 캡션의 근거 없는 세부 정보가 최종 답으로 전파되는 비율도 측정해야 합니다. 명시적이라는 이유만으로 중간 표현이 사실이 되는 것은 아닙니다.

검사 결과는 최종 정확도, 캡션의 시각 사실 정확도, 답이 캡션 근거를 사용한 비율과 추가 토큰, 지연으로 나눕니다. CapImagine이 정확도를 높여도 긴 캡션 때문에 응답 시간이 크게 늘거나, 캡션 환각이 고위험 답에 전달되면 적용 범위를 제한해야 합니다. 모델이 만든 캡션을 같은 모델이 평가하지 않도록 사람 표본이나 독립 기준을 둡니다.

어떤 시각 과제에서 캡션 병목이 커지나요?

정확한 기하, 작은 글자, 미세 질감과 여러 객체의 복잡한 배치는 짧은 자연어로 손실 없이 옮기기 어렵습니다. 이 과제에서는 캡션만 넘기지 말고 원본 이미지 특징이나 도구 기반 측정을 함께 쓰는 기준선이 필요합니다. 반대로 객체 종류와 단순 관계가 핵심인 질문에서는 명시적 캡션이 감사 가능성을 높일 수 있습니다.

멀티턴 대화에서는 첫 캡션 오류가 기억에 남아 이후 질문 모두를 오염시킬 수 있습니다. 새 질문이 이전 캡션의 범위를 벗어나면 원본 이미지를 다시 보고 목적형 캡션을 만들지, 기존 캡션을 확장할지 정해야 합니다. 사용자가 오류를 고쳤을 때 파생 답과 메모리도 함께 갱신되는지 확인합니다.

결론적으로 이 연구는 잠재 추론을 버리라는 처방보다 중간 표현이 실제 원인 경로인지 시험하라는 요구에 가깝습니다. CapImagine도 완성된 보편 해법이 아니라 사람이 검증 가능한 중간 표현을 두었을 때 얻는 이득과 손실을 비교하는 기준선으로 보는 편이 정확합니다.

중간 캡션을 제품 로그에 남겨야 하나요?

캡션은 오류 분석에는 유용하지만 원본 이미지의 민감한 내용을 텍스트로 다시 복제할 수 있습니다. 저장 목적과 보존 기간, 접근 권한을 먼저 정하고 최종 답 검증에 필요하지 않은 캡션은 장기 기억으로 넘기지 않아야 합니다. 사용자가 이미지를 삭제했을 때 파생 캡션도 함께 처리되는지 확인합니다.

로그를 남긴다면 이미지 식별자, 질문, 생성된 캡션, 최종 답, 사람 수정 내용을 연결합니다. 이렇게 해야 이미지 읽기 오류와 언어 추론 오류를 구분할 수 있습니다. 최종 답만 저장하면 캡션이 사실을 빠뜨렸는지, 정확한 캡션을 받고도 추론이 실패했는지 되짚기 어렵습니다.

설명 가능성도 과대평가하지 않습니다. 사람이 읽을 수 있는 캡션은 내부 벡터보다 감사하기 쉽지만, 모델이 실제로 그 문장을 근거로 답했음을 자동으로 증명하지는 않습니다. 캡션의 핵심 필드를 바꾸거나 가렸을 때 답이 예상대로 변하는 개입 실험을 함께 해야 원인 경로를 확인할 수 있습니다.

고위험 시각 판단에서는 정확한 캡션 한 번보다 불일치 처리 규칙이 중요할 수 있습니다. 캡션과 원본 측정이 충돌하거나 작은 글자를 읽지 못했을 때 추측하지 않고 보류하는지 시험합니다. 명시적 상상의 실무 가치는 더 긴 설명이 아니라 오류 위치를 드러내고 사람이 수정할 지점을 제공하는 데 있습니다.

arXiv 논문, 논문 페이지

함께 읽으면 이해가 이어지는 글

• VLM 추론 데이터 180만 개가 다 필요할까? MMFineReason의 7% 선별 — MMFineReason이 180만 sample과 51억 solution token을 만든 뒤 난이도, 정확성으로 약 7%를 선별해 작은 VLM을 학습한 과정과 teacher 오류, 생성 비용을 함께 봅니다.
• 두 플레이어가 본 세계를 동시에 맞출 수 있나: Minecraft 월드 모델 Solaris — Solaris가 플레이어별 영상 토큰을 인터리빙해 같은 사건을 여러 시점에 반영하는 방법, 1,264만 프레임 데이터와 확장성 한계를 정리합니다.
• 온디바이스 VLM은 모든 이미지를 고해상도로 봐야 할까? HyperVL의 VRC 판단 — HyperVL이 저해상도 thumbnail로 입력 난도를 먼저 판단하고 필요한 이미지에만 고해상도 branch를 쓰는 이유, token 절감과 routing 실패의 대가를 함께 살펴봅니다.