UniTok은 이미지 생성 품질에서는 표의 비교 모델보다 낮은 rFID 0.38을 기록했지만, 이미지 이해 정확도 78.6은 SigLIP 80.5와 ViTamin 81.2보다 낮습니다. 따라서 생성과 이해를 모두 최고로 만든 토크나이저라기보다, 두 기능을 한 discrete visual token 체계로 함께 쓰려는 절충안으로 보는 편이 정확합니다.
UniTok의 목표는 생성과 이해에서 각각 최고인 두 토크나이저를 동시에 이기는 것보다 하나의 discrete token 체계로 두 경로를 운영하는 데 있습니다. 따라서 개별 최고 점수뿐 아니라 통합으로 줄어드는 모델, 데이터 변환 비용을 함께 봐야 합니다.
기존 visual representation은 목적이 달랐습니다.
| 계열 | 잘 보존하려는 것 | 원문의 한계 |
|---|---|---|
| VQVAE, SD-VAE | 이미지를 다시 그릴 세부 정보 | semantic understanding이 약함 |
| CLIP, SigLIP | 이미지와 텍스트의 의미 대응 | 이미지 decoder용 토큰이 아님 |
생성은 질감과 위치 같은 세부 정보가 필요하고, 이해는 서로 다른 이미지가 같은 개념인지 구분할 의미 정보가 중요합니다. 한 표현에 두 목표를 동시에 넣으면 학습 목표만 추가한다고 자동으로 해결되지 않습니다.
UniTok 연구는 이 병목을 codebook의 표현 용량에서 찾습니다. 하나의 codebook을 크게 키우면 모든 시각 정보를 더 담을 것 같지만, 원문은 학습 불안정과 낮은 token utilization이 생긴다고 설명합니다. 반대로 작은 codebook 하나는 안정적이어도 세부와 의미를 함께 표현하기 부족합니다.
UniTok의 Multi-Codebook Quantization(MCQ)은 하나의 거대한 codebook 대신 여러 작은 codebook을 사용합니다. 한 visual feature를 표현할 때 각 codebook에서 code를 고르고 그 조합으로 더 넓은 표현 공간을 만듭니다.
1
2
3
4
5
6
이미지
→ encoder feature map
→ codebook A의 code
+ codebook B의 code
+ …
→ discrete visual tokens
조합 수가 늘기 때문에 codebook 하나를 무작정 확장하지 않고도 더 많은 상태를 표현할 수 있다는 논리입니다. 원문이 제시한 장점은 세 가지입니다.
다만 “여러 작은 codebook”이라는 구조만으로 실제 연산량과 메모리가 항상 줄어든다고 결론 내릴 수는 없습니다. codebook 수, token 수, decoder와 MLLM 연결 비용을 같은 조건에서 측정해야 합니다.
이미지 생성 경로는 다음과 같습니다.
이미지 이해 경로에서는 같은 token을 text token과 결합합니다. CLIP-style contrastive loss로 이미지와 텍스트의 의미 대응을 학습하고, MLLM이 captioning, VQA, 객체 관련 과제에 활용할 수 있게 합니다.
이 통합의 실용적인 장점은 이미지용 입력 표현과 생성용 출력 표현을 따로 관리하지 않아도 된다는 것입니다. 반면 한쪽 목표를 개선했을 때 다른 쪽 성능이 유지되는지 확인해야 합니다. 재구성 이미지만 선명하고 의미 분류가 약하거나, 의미 표현은 좋지만 작은 질감이 사라지는 경우를 별도 샘플로 봐야 합니다.
원문 표는 생성에 rFID, 이해에 zero-shot accuracy를 사용합니다. rFID는 낮을수록 좋고 정확도는 높을수록 좋습니다.
| 모델 | rFID ↓ | Zero-shot Accuracy ↑ |
|---|---|---|
| VQ-GAN | 4.98 | - |
| RQ-VAE | 1.30 | - |
| VAR | 0.90 | - |
| CLIP | - | 76.2 |
| SigLIP | - | 80.5 |
| ViTamin | - | 81.2 |
| UniTok | 0.38 | 78.6 |
UniTok은 생성 계열 가운데 가장 낮은 rFID를 보이고, CLIP보다 높은 zero-shot accuracy를 기록합니다. 그러나 이해 전용 비교에서는 SigLIP과 ViTamin보다 낮습니다. 바로 이 조합이 UniTok의 위치를 보여줍니다.
“기존 VQVAE나 CLIP보다 뛰어나다”는 표현은 축을 나눠야 합니다. 생성 표에서는 VQ-GAN, RQ-VAE, VAR보다 좋고, 이해 표에서는 CLIP보다 좋지만 모든 이해 모델보다 좋은 것은 아닙니다. 서로 값이 비어 있는 모델은 한쪽 기능을 같은 표에서 평가하지 않았으므로, 통합 능력 자체를 직접 비교하기도 어렵습니다.
UniTok은 하나의 멀티모달 시스템이 이미지를 입력으로 이해하고 다시 visual token을 출력해 생성해야 할 때 매력적입니다. 표현 체계를 공유함으로써 생성 모델과 MLLM 사이의 인터페이스를 단순화할 수 있기 때문입니다.
반면 이미지 이해 정확도만 최대화하려면 표의 이해 전용 모델과 다시 비교해야 하고, 재구성만 필요하다면 통합 학습의 추가 비용이 가치 있는지 따져야 합니다.
도입 실험에서는 네 가지를 함께 기록하는 편이 좋습니다.
기존 글에 적힌 자율주행, 의료, 실시간 영상 적용은 가능한 활용 방향이지 이 두 개의 벤치마크 열이 검증한 제품 성능은 아닙니다. UniTok의 성과는 생성과 이해 중 하나를 포기하지 않고 한 token 공간에서 둘을 함께 평가하게 만들었다는 점이며, 최종 선택은 두 목표 중 어느 쪽의 손실을 얼마나 허용할지에 달려 있습니다.
하나의 큰 codebook에 모든 시각 변화를 넣으면 자주 쓰는 texture token이 의미 구분을 밀어내거나 일부 code만 사용되는 collapse가 생길 수 있습니다. 여러 codebook은 같은 image 위치를 서로 다른 관점에서 양자화해 세부와 의미를 나눠 담을 여지를 만듭니다. 그렇다고 각 codebook이 자동으로 “질감”과 “개념” 역할을 갖는 것은 아니므로 실제 사용률과 ablation을 봐야 합니다.
같은 이미지를 encode, decode해 가는 선, 작은 문자, 얼굴과 반복 texture가 보존되는지 확인합니다. 이해 과제에서는 비슷한 외형이지만 다른 class, 같은 class지만 배경이 다른 image를 넣어 의미 표현이 배경 shortcut에 끌리는지 봅니다.
생성은 rFID뿐 아니라 reconstruction artifact와 prompt 조건 생성 품질을 보고, 이해는 zero-shot accuracy와 실제 downstream fine-tuning을 봅니다. codebook 수, token 길이, utilization, encode, decode latency와 memory를 같이 기록해야 통합 token의 비용을 계산할 수 있습니다.
한 목표의 loss weight를 높였을 때 다른 목표가 어떻게 변하는지 curve로 그립니다. 생성 점수가 조금 좋아지는 대신 이해가 크게 떨어지거나 그 반대라면 하나의 대표 숫자로 모델을 고르면 안 됩니다. 자신의 서비스에서 생성과 이해 요청 비율에 따라 허용할 trade-off를 먼저 정해야 합니다.
이미지를 이해한 뒤 같은 표현으로 생성, 수정하는 multimodal pipeline에서는 token 변환과 별도 encoder 유지가 줄 수 있습니다. 반대로 생성만 하거나 분류만 하는 좁은 서비스에서는 전용 tokenizer가 더 정확하고 단순할 수 있습니다.
도입 전에는 dual-tokenizer baseline과 UniTok을 end-to-end로 비교합니다. checkpoint 수, 데이터 저장 형식, training step, inference latency와 두 task 품질을 함께 계산해야 “하나로 통합”의 운영 이득이 실제 성능 손실을 보상하는지 판단할 수 있습니다.
아닙니다. 두 기능을 한 discrete token 체계로 묶는 절충안이며 표에서도 전용 표현보다 낮은 이해 점수가 보입니다.
보장되지 않습니다. codebook별 사용률, reconstruction과 이해 ablation을 확인해야 어떤 정보가 나뉘었는지 알 수 있습니다.
생성과 이해를 한 pipeline에서 자주 오갈 때 운영 단순화 이득이 큽니다. 한 과제만 필요하면 전용 baseline과 품질, 비용을 비교해야 합니다.
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.