숙련 개발자는 빨라졌다고 믿고도 19% 느려졌다
비영리 연구기관 METR은 2025년 초, 자신이 오래 기여한 대형 오픈소스 저장소에서 숙련 개발자 16명이 실제 이슈 246개를 해결하는 무작위 실험을 했습니다. 개발자들은 AI를 쓰면 24% 빨라질 것으로 예상했고, 실험 뒤에도 20% 빨라졌다고 느꼈습니다. 측정 결과는 반대였습니다. AI 허용 과업의 완료시간이 19% 늘었습니다. 연구 설계와 원자료 설명도 공개돼 있습니다.
{
"type": "bar",
"data": {
"labels": ["사용 전 예상", "사용 후 체감", "실제 측정"],
"datasets": [
{
"label": "완료시간 변화율 / 음수는 단축",
"data": [-24, -20, 19],
"backgroundColor": ["#20ad91", "#20ad91", "#2457ff"]
}
]
},
"options": {
"indexAxis": "y",
"responsive": true,
"scales": {
"x": {
"min": -30,
"max": 25,
"title": { "display": true, "text": "완료시간 변화율 (%)" }
}
},
"plugins": {
"title": { "display": true, "text": "AI 코딩: 예상, 체감과 실제 측정의 간극" },
"subtitle": { "display": true, "text": "자료: METR, 2025년 초 숙련 오픈소스 개발자 RCT" }
}
}
}
이 결과를 “AI 코딩은 항상 느리다”로 일반화해서도 안 됩니다. 대상은 익숙한 성숙 저장소, 당시 모델, 평균 약 2시간짜리 과업이었습니다. METR도 2026년 후속 공지에서 최신 도구는 더 빨라졌을 가능성이 있지만, AI 없이 일하기 싫은 참가자와 과업이 실험에서 빠지는 선택 편향 때문에 새 효과 크기는 신뢰하기 어렵다고 밝혔습니다.
핵심은 사람의 체감이 나쁘다는 것이 아니라, 체감 속도만으로 순절감을 판정할 수 없다는 것입니다.