왜 VLM은 일부 토큰에서 더 취약할까: EGA의 엔트로피 공격
EGA의 핵심 발견은 VLM 출력의 모든 토큰이 같은 공격 가치가 있는 것이 아니라, 다음 단어 선택이 흔들리는 고엔트로피 지점에 섭동을 집중하면 더 적은 표적 토큰으로 출력을 크게 바꿀 수 있다는 것입니다.
엔트로피는 모델이 다음 토큰을 망설이는 정도다
오토리그레시브 모델은 앞선 토큰과 이미지를 조건으로 다음 토큰의 확률 분포를 만듭니다. 한 후보에 확률이 몰리면 엔트로피가 낮고, 여러 후보가 비슷하면 높습니다.
\[H(y_t) = -\sum_{w \in \mathcal{V}} P(w \mid x, y_{<t}) \log P(w \mid x, y_{<t})\]초기의 단어 선택이나 문장 방향을 바꾸는 지점에서 작은 변화가 이후 출력을 연쇄적으로 바꿀 수 있습니다. 다만 엔트로피가 높다는 사실만으로 그 토큰이 의미상 중요하다는 보장은 없습니다. 공격과 방어 모두 실제 출력 변화와 함께 확인해야 합니다.
EGA는 상위 불확실 지점만 Entropy-bank에 담는다
Entropy-bank Guided Adversarial Attack은 기준 입력의 생성 과정을 따라가며 엔트로피가 높은 디코딩 시점을 고릅니다. 원문 실험에서는 전체 생성 토큰의 약 20%가 집중 대상입니다. 그런 다음 이미지에 허용된 작은 섭동을 적용해 선택된 시점의 불확실성을 키우는 방향으로 최적화합니다.
전역 공격이 모든 생성 단계에 예산을 분산하는 것과 달리, EGA는 이후 문장 경로를 바꿀 가능성이 큰 지점에 예산을 모읍니다. 이 결과를 비교하려면 섭동 크기, 최적화 횟수, 디코딩 방식과 대상 토큰 비율을 동일하게 고정해야 합니다.
원문 설정은 LLaVA-v1.5, InstructBLIP, Qwen-VL-Chat과 MS-COCO 2017, LLaVA-Bench를 사용하고 섭동 예산을 2/255에서 8/255 범위로 둡니다. 이 범위를 벗어난 결과를 같은 공격 강도로 보면 안 됩니다.
보고된 성공률은 위협 모델 안에서 읽는다
논문 설명에는 93~95% 공격 성공률, 출력 유사도 40% 이상 감소, 35~49% 유해성 전환이 제시됩니다. 이 숫자들은 서로 다른 현상을 측정합니다. 정답을 틀리게 하는 것, 원문과 다른 문장을 만드는 것, 유해 출력을 유도하는 것은 같은 성공 정의가 아닙니다.
EGA는 화이트박스 모델의 그래디언트와 토큰 분포를 이용합니다. 다른 구조로 공격 이미지가 전이되는 결과도 보고되지만, 내부 접근 없이 임의의 폐쇄형 모델에서 같은 성공률을 보장한다는 뜻은 아닙니다. 모델, 프롬프트, 샘플링 설정이 달라지면 고엔트로피 지점도 달라질 수 있습니다.
따라서 레드팀 결과에는 최소한 대상 모델, 디코딩, 섭동 규범과 크기, 성공 판정기를 함께 기록해야 재현 가능한 보안 평가가 됩니다.
방어는 엔트로피 감지만으로 끝나지 않는다
고엔트로피 급증을 탐지하는 방식은 의심 표본을 찾는 단서가 될 수 있지만 정상적인 모호한 질문도 높은 엔트로피를 만들 수 있습니다. 반대로 공격이 낮은 엔트로피 경로로 적응하면 단일 임계값을 피할 수 있습니다.
논문이 주로 다룬 Greedy Search의 취약점이 Beam Search나 다른 샘플링에서도 같은지도 별도 시험이 필요합니다. 입력 변환, 적대적 학습, 출력 안전 판정과 결합했을 때 공격 성공률이 어떻게 변하는지도 봐야 합니다.
EGA가 주는 실용적 교훈은 “엔트로피가 높으면 차단하라”보다 모델의 평균 정확도만 보지 말고 생성 경로에서 불확실성이 몰리는 지점을 공격 표면으로 포함하라는 것입니다.