AdaReasoner의 중요한 결과는 7B 모델이 도구를 더 많이 호출해서가 아니라, 필요한 도구와 호출 순서를 보상으로 학습해 기본 모델 대비 평균 24.9% 향상됐다는 주장입니다. “GPT-5를 이겼다”는 문구는 특정 퍼즐 벤치마크 비교를 전체 능력으로 확대한 표현이므로, 모델 버전과 평가표가 없는 이 글만으로는 일반적인 우위를 확인할 수 없습니다.
7B AdaReasoner가 GPT-5를 이겼다는 말은 맞을까: Tool-GRPO +24.9% 읽는 법
도구 사용을 API 암기에서 경로 선택으로 바꾼다
기존 도구 학습은 “이 질문에는 이 함수를 호출하라”는 지도 예시에 기대기 쉽습니다. 학습에 없던 도구가 추가되거나 한 호출의 결과가 다음 호출의 입력이 되는 긴 문제에서는 절차가 쉽게 깨집니다. 반대로 모든 문제에 OCR, 검색, 계산기를 붙이면 정답률보다 지연 시간과 오류 경로가 먼저 늘어날 수 있습니다.
AdaReasoner는 도구 사용을 세 가지 선택의 연속으로 봅니다.
- 지금 외부 도구가 필요한가
- 여러 도구 중 어느 것을 먼저 써야 하는가
- 결과를 보고 멈출지, 다른 도구로 이어갈지
시각 도구로는 객체 검출, 이미지 자르기, OCR, 이미지 캡셔닝이 언급되고, 추론 도구로는 Python interpreter, 계산기, 검색 엔진이 제시됩니다. 핵심은 이 목록 자체보다 도구 결과를 다음 판단에 다시 넣는 long-horizon interaction입니다.
Tool-GRPO가 보상하는 것은 최종 결과다
Tool-GRPO는 같은 질문에 여러 추론, 호출 경로를 생성한 뒤 그룹 안에서 상대적으로 좋은 경로에 더 높은 보상을 줍니다. 지도 학습이 정해진 호출 예시를 따라 하게 만든다면, 이 방식은 최종 정답에 도달하는 경로를 탐색하게 합니다.
원문은 단계마다 보상을 주기보다 최종 결과에 sparse reward를 주는 구성을 설명합니다. 이 선택에는 분명한 장단점이 있습니다.
- 장점: 사람이 모든 중간 호출 순서를 라벨링하지 않아도 됩니다.
- 장점: 불필요한 호출을 생략하는 경로가 발견될 수 있습니다.
- 한계: 정답만 맞으면 우연하거나 취약한 과정도 보상받을 수 있습니다.
- 한계: 보상 검증기의 허점을 이용하는 reward hacking을 찾기 어렵습니다.
데이터 큐레이션은 긴 호출 체인을 만들고 정답을 자동 검증하는 환경에 의존합니다. 따라서 모델 학습보다 먼저 점검할 대상은 “정답 검증기가 틀린 경로를 얼마나 잘 거르는가”입니다.
+24.9%, +30%, GPT-5 비교를 분리해서 읽기
원문에는 서로 범위가 다른 세 성능 표현이 섞여 있습니다.
| 주장 | 범위 | 남아 있는 확인 항목 |
|---|---|---|
| 기본 모델 대비 평균 +24.9% | 여러 과제의 평균 | 절대 점수, 평균 방식, 퍼센트와 퍼센트포인트 구분 |
| VSP에서 기존 7B 대비 30% 이상 향상 | 시각 공간 추론 | 비교 모델과 도구 예산 |
| Jigsaw에서 GPT-5 능가 | 특정 퍼즐, 논리 과제 | 정확한 GPT-5 버전, 프롬프트, 호출 가능한 도구 |
원문은 베이스 모델도 Llama-3 또는 InternLM 계열 7B라고만 적어 정확한 체크포인트를 확정하지 않습니다. GAIA, VSP, Jigsaw가 평가에 언급되지만 세부 결과표도 이 글에는 없습니다. 그러므로 이 수치들은 “작은 모델도 도구 정책으로 특정 과제에서 큰 이득을 낼 수 있다”는 근거이지, 폐쇄형 상위 모델보다 전반적으로 뛰어나다는 증거가 아닙니다.
학습에 없던 Web Search를 명세만 보고 배치했다는 zero-shot 결과도 흥미롭습니다. 다만 검색 결과의 신뢰성, 네트워크 실패, 응답 형식 변화까지 견딘다는 의미는 아닙니다.
적응형 호출이 실제로 비용을 줄였는지 확인하는 법
도구를 쓰지 않아도 되는 질문에서 호출을 건너뛴다면 토큰과 왕복 시간을 줄일 수 있습니다. 하지만 어려운 문제에서는 여러 후보 경로를 반복하므로 평균 호출 수만으로는 사용자 경험을 설명하기 어렵습니다.
서비스 시험에서는 정답률과 함께 아래 값을 남겨야 합니다.
- 질문당 도구 호출 수의 평균과 상위 95% 구간
- 각 도구의 실패, 시간 초과, 잘못된 형식 비율
- 도구 없이 맞힌 문제와 도구 때문에 틀린 문제
- 첫 응답 및 최종 응답까지 걸린 시간
- 동일 질문을 반복했을 때 선택 경로의 변동성
특히 OCR이나 검색 결과가 틀렸을 때 모델이 출처의 불확실성을 감지하지 못하면, 정교한 다단계 추론이 잘못된 첫 관측을 더 강하게 확신하는 장치가 될 수 있습니다.
배포 전에는 도구 권한과 실패 경로를 제한한다
이 글은 학습 아이디어를 설명할 뿐, 의료 진단, 과학 실험, 보안 분석을 안전하게 자동화하는 완성된 운영 절차를 제공하지 않습니다. 그런 도메인에서는 최종 정답 보상만으로 권한 부여를 결정하면 안 됩니다.
초기 배포는 읽기 전용 도구와 자동 검증 가능한 과제부터 시작하는 편이 안전합니다. 호출 횟수와 시간 제한을 두고, 도구가 실패하거나 서로 모순된 결과를 낼 때 중단하는 규칙도 별도로 필요합니다. AdaReasoner가 보여주는 실용적 포인트는 큰 모델을 대체한다는 선언보다, “언제 도구를 쓰지 않을 것인가”까지 학습 목표에 포함해야 한다는 점입니다.
성능 향상이 어느 도구에서 왔는지 어떻게 분리할까
전체 tool set을 한 번에 붙인 정확도만 보면 좋은 policy가 생긴 것인지 강한 OCR, 검색 모델을 추가한 효과인지 구분하기 어렵습니다. 같은 base model과 prompt에서 단계별 ablation을 두는 편이 낫습니다.
| 비교 조건 | 확인하는 질문 |
|---|---|
| 도구 없음 | base model 자체가 풀 수 있는 범위는 어디까지인가 |
| 도구는 제공하되 고정 순서 | 외부 정보 자체의 이득은 얼마인가 |
| AdaReasoner policy | 동적 선택, 중단이 추가로 주는 이득은 얼마인가 |
| Random tool 또는 같은 call 수 | 단순 호출 증가 효과인가 |
| Oracle tool 결과 | tool output이 정확할 때 reasoning 상한은 얼마인가 |
예를 들어 작은 글자가 핵심인 image 문제에서 OCR 결과만 넣어도 대부분 해결된다면 +24.9% 중 상당 부분은 orchestration보다 perception tool의 이득일 수 있습니다. 반대로 tool 결과가 같은 조건에서도 AdaReasoner가 불필요한 crop을 줄이고 계산기를 적절히 이어 붙여 성공한다면 policy 기여가 분명해집니다. 정확도와 평균 call 수를 같은 표에 넣어야 더 많은 호출로 얻은 점수를 효율 개선으로 오해하지 않습니다.
Tool contract가 깨지면 어디서 멈춰야 하나
훈련 때 본 API 설명과 실제 응답 schema가 달라지거나 OCR이 빈 문자열을 반환하면 다음 reasoning step의 입력 자체가 잘못됩니다. 각 tool에는 허용 인자, 최대 image crop 크기, timeout, 응답 schema와 신뢰도 필드를 명시하고 model output을 실행 전에 validator가 검사해야 합니다.
1
2
3
4
5
model이 tool call 제안
→ permission, argument, budget 검사
→ sandbox 또는 read-only 실행
→ schema, timeout, 오류 확인
→ 검증된 결과만 다음 reasoning에 전달
검색 결과와 calculator 결과가 충돌하면 더 긴 chain을 무조건 생성하지 않습니다. 출처가 필요한 값인지, 계산으로 재검증 가능한 값인지에 따라 우선순위를 정하고 해결되지 않으면 불확실 답을 반환합니다. Tool output을 prompt에 그대로 넣을 때의 명령문도 신뢰할 수 없는 data로 취급해야 합니다. 학습 벤치마크의 정답률은 이런 운영 경계를 대신하지 않습니다.
Sparse reward의 실패를 무엇으로 찾을까
최종 답만 맞히는 보상은 과정의 안전성과 비용을 표현하지 못합니다. 정답 reward와 별도로 invalid call, timeout, 중복 호출, 금지된 권한, 근거 없는 답에 penalty를 둘 수 있지만 각 항목의 비중이 과하면 model이 필요한 tool까지 피할 수 있습니다. 그래서 reward 설계는 호출이 필요한 문제와 필요 없는 문제를 함께 넣어 검증합니다.
동일 질문을 여러 번 실행해 경로가 크게 달라지는지도 봅니다. 정답률은 같아도 한 run은 2회, 다른 run은 20회 호출한다면 운영 비용이 예측하기 어렵습니다. Tool별 failure를 주입해 OCR 오류를 검색으로 무작정 덮는지, timeout 뒤 동일 요청을 무한 반복하는지, 검증기 표현만 맞추는 reward hacking이 있는지를 검사합니다.
PoC 합격 기준은 특정 benchmark 승리가 아니라 제한된 call budget 안에서 baseline보다 더 정확하고, 도구 failure 때 안전하게 중단하며, 반복 실행 비용의 상위 구간이 서비스 한도 안에 드는 것입니다.
정답을 내지 못했지만 권한을 지키며 중단한 case와, 우연히 맞았지만 금지된 호출을 한 case도 분리해야 안전한 tool policy를 평가할 수 있습니다.
함께 읽으면 이해가 이어지는 글
- 사진 위치 500m 정확도가 8.0%에서 22.1%로 오른 이유: Thinking with Map — 사진 단서로 지도 후보를 병렬 탐색하고 강화학습으로 검색 행동을 다듬는 구조, 정확도, 비용, 프라이버시 판단
- 물리 문제에서 그림 한 줄을 놓치면? P1-VL의 시각, 논리 학습 — P1-VL이 올림피아드 물리의 도식 정보를 추론과 연결하는 커리큘럼 RL, PhysicsMinions 검증 구조와 벤치마크 해석법을 설명합니다.
- VideoLLaMA 3는 중복 프레임을 어떻게 줄일까: AVT, DiffFP — 고해상도 입력을 토큰화하는 AVT, 유사 프레임을 덜어내는 DiffFP, 7B 벤치마크와 추론 코드의 실행 전제
자주 묻는 질문
7B AdaReasoner가 GPT-5보다 전반적으로 뛰어난가요?
아닙니다. GPT-5 비교는 특정 Jigsaw 과제의 주장이고 정확한 model version, prompt, tool budget이 이 글에 없어 일반 능력의 우위로 확대할 수 없습니다.
Tool-GRPO는 정답이면 올바른 호출 과정도 보장하나요?
아닙니다. 최종 sparse reward만 쓰면 우연한 정답, 검증기 허점이나 불필요한 호출도 보상될 수 있어 과정 audit와 도구별 ablation이 필요합니다.
배포 전 최소한 어떤 제한이 필요한가요?
읽기 전용 tool부터 시작하고 호출, 시간, 비용 상한, schema validation, timeout과 모순 결과의 중단 규칙, 외부 action의 별도 승인 단계를 둬야 합니다.
표지 1 —
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.