가능합니다. LoRWeB은 예시 이미지의 전후 차이를 하나의 고정 LoRA에 저장하지 않고 여러 LoRA Basis의 가중합으로 표현해, 새 입력에 필요한 변환을 골라 적용합니다. 다만 새 변환이 학습한 기저 공간 안에 있고, 편집해야 할 특징과 보존해야 할 특징을 인코더가 구분할 때 효과를 기대할 수 있습니다.
논문이 다루는 문제는 시각적 유추입니다. 입력 쌍 $a \rightarrow a’$에서 “무엇이 바뀌었는가”를 읽고, 그 관계를 새로운 이미지 $b$에 적용해 $b’$를 만드는 작업입니다. 개체 추가, 스타일 변화, 메이크업, 자세 변경처럼 말로 모두 적기 어려운 편집을 예시로 지정할 수 있다는 점이 핵심입니다.
단일 LoRA는 한 종류의 변환을 적은 파라미터로 저장하기에 유용하지만, 다양한 편집을 한 가중치에 넣으면 서로 간섭할 수 있습니다. 랭크를 크게 올린다고 보지 못한 변환을 자동으로 다루는 것도 아닙니다.
LoRWeB은 여러 개의 기저 LoRA를 준비하고 입력 예시에 따라 조합 계수를 계산합니다. 시각적 변환 공간을 하나의 점이 아니라 여러 방향을 가진 기저로 보는 접근입니다.
예시 전 이미지, 예시 후 이미지, 새 대상 이미지의 CLIP 표현과 그 차이를 인코더가 읽습니다. 학습된 key와의 관련도를 softmax로 바꿔 각 기저 LoRA의 비중을 정하고, 조합한 가중치를 Flux.1-Kontext에 적용합니다.
이 구조에서 예시는 편집 명령이면서 동시에 편집 범위를 정하는 근거입니다. $a$와 $a’$ 사이에 스타일, 구도, 개체가 한꺼번에 바뀌면 인코더는 어느 변화만 $b$로 옮겨야 하는지 분리하기 어렵습니다. 따라서 실무 입력은 원하는 관계가 눈에 띄고, 바꾸지 않을 요소가 전후에 최대한 유지된 쌍일수록 해석이 명확합니다.
기저 LoRA는 미리 학습된 변환 방향이고 조합 계수는 현재 예시가 각 방향을 얼마나 필요로 하는지 나타냅니다. 계수가 달라지면 같은 기저 집합으로도 서로 다른 편집을 만들 수 있습니다. 반면 학습 중 거의 항상 함께 활성화되는 기저들이 있다면 실제로는 중복 방향을 저장하고 있을 수 있으므로, 기저 수가 곧 표현 다양성을 뜻하지는 않습니다.
시각적 유추의 목표는 $a’$의 픽셀을 $b$에 복사하는 것이 아니라 $a \rightarrow a’$의 변화 규칙을 옮기는 것입니다. 예시 인물의 얼굴, 배경색, 촬영 구도까지 결과에 따라오면 관계 대신 예시 외형을 기억한 셈입니다. 새 대상의 정체성을 보존하면서 요청한 변화만 나타나는지를 별도 기준으로 보는 이유입니다.
이를 확인하려면 같은 변화 관계를 가진 여러 예시 쌍을 넣어 결과가 일관적인지 비교할 수 있습니다. 예시의 배경과 인물만 바꿨는데 $b’$의 스타일이나 개체가 크게 달라지면 조합 계수가 본질적 변화보다 부수적 외형에 민감한 것입니다. 반대로 서로 다른 표현의 예시가 비슷한 편집 결과를 만든다면 관계를 더 안정적으로 읽는 신호가 됩니다.
한 예시 안에 여러 편집이 섞인 경우에는 원하는 변화를 하나씩 분리한 쌍과 비교해야 합니다. 스타일 변경과 자세 변경을 동시에 보여 준 예시가 둘 다 필요한지, 한쪽만 필요한지 모델은 사용자 의도를 추가로 알 수 없습니다. 범위가 모호한 예시에서 나온 실패를 기저 수 부족으로만 해석하면 불필요하게 모델을 키울 수 있습니다.
학습 샘플은 $a$, $a’$, $b$, $b’$를 2×2 격자로 묶습니다. 모델은 왼쪽 열에서 관찰한 변화가 오른쪽 열에도 성립하도록 학습합니다. 단순히 결과 이미지를 흉내 내는 것이 아니라 두 쌍 사이의 관계를 공유하게 만드는 구성입니다.
원문 설정에서는 기저 수로 16 또는 32, 각 LoRA의 랭크로 16을 사용하고 수만 개의 이미지 쌍을 학습합니다. 이 값들은 검증된 보편 설정이 아니라 논문의 실험 선택입니다. 도메인이 좁으면 더 적은 기저로도 충분할 수 있고, 변환이 복잡하면 선형 조합만으로 표현하지 못할 수 있습니다.
2×2 구성은 왼쪽 관계가 오른쪽에도 적용되는 학습 신호를 명시적으로 만듭니다. 그러나 데이터에 반복되는 지름길이 있으면 모델이 관계 대신 위치나 배경 패턴을 사용할 수 있습니다. 예를 들어 특정 편집이 늘 같은 촬영 구도와 함께 나타난다면 구도만 보고 기저를 고르는 현상이 생길 수 있습니다.
데이터를 나눌 때는 이미지 단위 중복만 막는 것으로 충분하지 않습니다. 같은 개체, 비슷한 배경, 같은 변환 템플릿이 학습과 평가에 걸쳐 있는지 확인해야 합니다. 보지 못한 대상에 익숙한 변환을 적용하는 조건과, 익숙한 대상에 보지 못한 변환 조합을 적용하는 조건을 분리하면 대상 일반화와 관계 일반화를 구분할 수 있습니다.
기저의 가중합은 학습된 방향 사이를 보간할 때 자연스럽지만, 전혀 새로운 비선형 관계를 반드시 표현하지는 못합니다. 두 변환을 동시에 섞었을 때 서로 충돌하거나 적용 순서가 중요한 편집이라면 같은 계수 합이라도 원하는 결과가 달라질 수 있습니다. “스타일을 바꾼 뒤 개체를 추가”하는 것과 반대 순서가 다른 결과를 내는 경우가 한 예입니다.
softmax 계수는 기저 사이 비중을 정규화하지만 각 기저가 사람이 이해할 수 있는 하나의 개념을 담당한다고 보장하지 않습니다. 여러 기저가 같은 편집에 분산되어 활성화되거나, 한 기저가 서로 무관한 변화에 쓰일 수 있습니다. 해석 가능성을 주장하려면 계수 시각화뿐 아니라 특정 기저를 제거하거나 비중을 바꿨을 때 어느 편집 특성이 사라지는지 확인해야 합니다.
기저를 늘렸는데 훈련 데이터 성능만 좋아지고 새 변환 성능이 그대로라면 표현력보다 과적합이 늘었을 가능성이 있습니다. 반대로 적은 기저에서 서로 다른 편집이 섞여 원본 보존이 나빠진다면 용량 부족을 의심할 수 있습니다. 기저 수 선택은 최대 점수보다 검증 성능이 더 이상 개선되지 않는 지점과 메모리, 지연의 증가를 함께 보고 정합니다.
연구는 개체 추가, 스타일, 메이크업, 자세를 포함한 작업에서 편집 지시를 따르는 정도와 원본 보존을 나눠 봅니다. Gemma 3 기반 편집 평가, LPIPS와 CLIP 보존 지표, 사용자 선호도를 사용했고 비교 조건에서 70%가 넘는 선호를 보고했습니다.
사용자 선호가 높다는 사실만으로 편집이 항상 정확하다고 볼 수는 없습니다. 큰 스타일 변화는 눈에 잘 띄어 선호되면서도 인물이나 배경의 세부를 훼손할 수 있습니다. 반대로 보존 점수가 높아도 요청한 변화가 약할 수 있으므로 두 축을 함께 읽어야 합니다.
편집 충실도와 원본 보존은 서로 밀고 당길 수 있습니다. 변화가 너무 약하면 정체성은 잘 남지만 예시 관계를 따르지 못하고, 변화가 너무 강하면 요구를 눈에 띄게 수행하면서 불필요한 영역까지 바꿉니다. 평균 점수 하나로 합치기보다 두 값을 나란히 두고 사용 목적에 맞는 허용선을 정해야 합니다.
사용자 평가도 질문 문구에 따라 해석이 달라집니다. “더 보기 좋은 이미지”를 고르는 평가와 “예시 관계를 정확히 옮긴 이미지”를 고르는 평가는 같은 선택을 보장하지 않습니다. 인물 편집에서는 얼굴과 액세서리 보존, 자세 편집에서는 관절 관계와 배경 보존처럼 작업별 체크 항목을 먼저 정하는 편이 결과를 설명하기 쉽습니다.
먼저 편집 유형별로 대표 예시를 고르고 단일 LoRA, 유형별 독립 LoRA, LoRA Basis 조합을 같은 기반 모델과 데이터 예산에서 비교합니다. 학습에 본 대상과 새 대상, 익숙한 변환과 새로운 조합을 교차해 네 구간으로 나누면 어디까지 재사용되는지 알 수 있습니다. 결과 이미지 수와 샘플링 조건도 같아야 생성 횟수 차이가 선호도에 섞이지 않습니다.
오류는 요청 변화 누락, 과도한 변화, 대상 정체성 손실, 배경 손상, 기하 왜곡으로 구분할 수 있습니다. 계수와 기저 수를 바꾸었을 때 오류 유형이 어떻게 이동하는지 기록하면 단순한 프롬프트 문제와 표현 공간의 한계를 구분하는 데 도움이 됩니다. 반복 실행에서 결과 편차가 큰지도 실제 작업의 수정 비용에 포함합니다.
LoRWeB이 잘 맞는 경우는 예시 기반 편집의 종류가 반복되고, 그 변환들이 몇 개의 공통 방향으로 묶일 때입니다. 브랜드 스타일, 정해진 메이크업, 반복되는 자세처럼 범위를 정의할 수 있는 작업이 이에 가깝습니다.
반면 기저가 학습한 공간 바깥의 관계를 요구하면 가중합은 외삽에 약할 수 있습니다. 기저 수가 늘수록 저장량과 추론 오버헤드도 커지고, 어떤 기저가 무엇을 담당하는지 해석하기 어려워집니다. 도입 전에는 한 개 LoRA, 여러 독립 LoRA, Basis 조합을 같은 데이터에서 비교하고 다음 세 값을 별도로 기록하는 편이 좋습니다.
LoRWeB의 장점은 모든 편집을 해결한다는 데 있지 않습니다. 예시가 담은 관계를 재사용 가능한 여러 가중치 방향으로 분해해, 고정된 한 LoRA보다 넓은 변환을 다루게 했다는 데 있습니다.
도입의 현실적인 기준은 반복되는 편집군이 실제로 공통 기저로 압축되는지입니다. 독립 LoRA 여러 개가 더 안정적이고 저장, 운영 비용도 감당할 수 있다면 Basis 구조가 항상 필요한 것은 아닙니다. 반대로 새 대상마다 다시 학습하지 않고 몇 가지 관계를 조합해야 하며 보존 오류가 허용선 안에 있다면 LoRWeB의 설계가 의미를 가집니다.
배포 전에는 예시가 모호할 때 요청을 거부하거나 추가 예시를 받는 규칙도 필요합니다. 기저 공간 밖의 변환에서 그럴듯하지만 틀린 결과가 나올 수 있으므로, 계수 확신만으로 성공을 선언하지 말고 결과의 편집 충실도와 보존 검사를 함께 통과시켜야 합니다.
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.