AI 코딩의 환상을 부수다: 'Andrej Karpathy Skills'가 실무 개발의 룰을 바꾸는 방식

The Hook (공감과 도발)

사실 처음 이 기술, 아니 이 ‘룰셋(Rule-set)’을 마주했을 때 저는 꽤 회의적이었습니다. “또 뻔한 프롬프트 엔지니어링의 연장선이겠지” 싶었거든요. 최근 현업에서 Cursor나 Claude Code 같은 AI 코딩 어시스턴트는 더 이상 신기한 장난감이 아닙니다. 없으면 당장 스프린트 일정을 맞출 수 없을 정도로 필수재가 되었죠. 하지만 정말 우리 삶이 그만큼 편해졌을까요?

가슴에 손을 얹고 생각해 봅시다. “여기 NullPointerException 버그 좀 고쳐줘”라고 했더니, AI가 뜬금없이 멀쩡한 레거시 코드를 최신 팩토리 패턴이랍시고 싹 다 갈아엎어 놓은 적 없으신가요? “안 쓰는 변수가 보이네요, 제가 깔끔하게 치웠습니다”라며 데드코드를 날렸다가 빌드 파이프라인이 터져서 새벽에 땀 흘리며 롤백해 본 경험은요? 우리는 코딩 속도는 엄청나게 빨라졌지만, 정작 AI가 싸질러 놓은 ‘화려하고 위험한 쓰레기’를 리뷰하고 걷어내는 데 더 많은 야근을 하고 있습니다. 우리는 도구에 대한 통제력을 잃어버렸던 겁니다.

바로 이 지점에서, 딥러닝의 대가 안드레아 카파시(Andrej Karpathy)의 인사이트를 코드로 엮어낸 ‘Andrej Karpathy Skills’가 등장합니다.

TL;DR (The Core)

Andrej Karpathy Skills는 AI가 묻지 않고 멋대로 상상의 나래를 펴는 것을 원천 차단하고, 오직 ‘외과 수술적인(Surgical) 수정’과 ‘목표 기반의 자율 검증’만을 강제하는 가장 강력한 AI 엔지니어링 행동 강령(Behavioral Guidelines)이자 메타 프레임워크입니다.

Deep Dive: Under the Hood (핵심 아키텍처 심층 분석)

이 프로젝트는 복잡한 바이너리나 무거운 런타임 라이브러리가 아닙니다. 본질적으로는 프로젝트 루트의 .cursorrules나 CLAUDE.md 파일에 주입되는 약 60줄의 마크다운 지침일 뿐입니다. 하지만 이 가벼운 텍스트 쪼가리가 만들어내는 ‘레버리지(Leverage)’는 기존의 AI 코딩 방식과 완전히 궤를 달리합니다.

카파시가 짚어낸 대형 언어 모델(LLM)의 가장 치명적인 맹점은 바로 ‘사일런트 픽(Silent Pick)’입니다. LLM은 모호한 상황에서 질문하지 않고, 자기가 임의로 가정을 세워버린 뒤 그대로 코드를 생성해 버립니다. 이를 막기 위해 Karpathy Skills는 시스템 프롬프트 레벨에서 AI의 AST(Abstract Syntax Tree) 수정 권한과 컨텍스트 인지 방식을 완전히 재설계합니다.

비교 항목	기존 AI 코딩 어시스턴트 (Default)	Andrej Karpathy Skills 적용 시
모호성 처리	임의로 가정을 세우고 조용히 코드를 자동 완성함	Think Before Coding: 가정을 명시하고, 혼란스러우면 즉시 멈추고 사용자에게 질문함
코드 수정 범위	주변 코드와 주석을 “개선”하려 들며 광범위한 수정을 가함	Surgical Changes: 요청받은 라인만 ‘외과 수술처럼’ 도려내고 수정하며, 기존 스타일을 철저히 유지함
설계 철학	확장성을 고려해 추상화된 패턴과 오버엔지니어링 적용	Simplicity First: 추측성 기능(Speculative features)을 배제하고 최소한의 코드로 구현 (YAGNI 원칙 강제)
검증 방식	“완료했습니다. 코드를 확인해보세요.”라며 즉시 결과물 제출	Goal-Driven Execution: 테스트 등 성공 기준을 먼저 정의하고, 이를 통과할 때까지 자율 루프 실행

특히 2026년 3월 카파시가 선보여 깃허브 생태계를 뒤집어놓은 42,000 스타의 ‘Autoresearch’ 루프 개념과 결합되면서 이 지침은 한 차원 더 진화했습니다. AI에게 “어떻게 해라(Imperative)”라고 지시하는 대신, “무엇이 성공인지(Declarative)”를 정의해 주면 모델이 알아서 피드백 루프를 도는 방식입니다.

아래는 프로젝트 루트에 위치하여 AI의 토큰 생성 트리를 지배하는 .cursorrules (또는 CLAUDE.md)의 핵심 설정 예시입니다.

{
  "karpathy_guidelines": {
    "alwaysApply": true,
    "principles": [
      {
        "name": "Think Before Coding",
        "directive": "절대 가정하지 마라. 해석이 갈릴 경우 조용히 선택하지 말고, 트레이드오프를 명시하여 사용자에게 질문하라. 불확실하면 멈춰라."
      },
      {
        "name": "Surgical Changes",
        "directive": "고장나지 않은 것을 리팩토링하지 마라. 당신의 방식과 달라도 기존 코드 스타일을 100% 매칭하라. 관계없는 데드코드를 발견하면 삭제하지 말고 언급만 하라."
      },
      {
        "name": "Goal-Driven Execution",
        "directive": "명령형 지시를 검증 가능한 목표로 변환하라. 예: '버그 수정' -> '버그를 재현하는 테스트 작성 후 통과'. 다단계 작업은 반드시 '1. [Step] -> verify: [check]' 형태의 계획을 먼저 출력하고 실행하라."
      }
    ],
    "enforcement_level": "strict"
  }
}

이 짧은 JSON 설정 하나가 AI의 행동 패턴을 완벽히 꺾어버립니다. “결제 모듈 리팩토링해 줘”라는 명령을 받으면, AI는 코드를 짜기 전에 테스트 계획을 먼저 출력하고, 테스트 코드가 통과하기 전에는 메인 로직을 수정하지 못하도록 스스로에게 락(Lock)을 걸어버립니다. 즉, ‘단순한 자동완성’을 넘어 카파시가 제창한 ‘Software 3.0’ 패러다임의 설계자처럼 움직이게 되는 것입니다.

Pragmatic Use Cases (실무 적용 시나리오)

그래서 이걸 실무에 어떻게 써먹냐고요? 몇 달 전, 저희 팀이 수백만 명의 트래픽을 처리하는 레거시 결제 마이크로서비스에 새로운 PG사를 연동해야 했을 때의 일입니다.

기존 같았으면 Claude Code에게 “A사 PG 연동 모듈을 추가해 줘”라고 지시했을 때, 이 녀석은 의욕이 앞선 나머지 기존 B사, C사의 연동 인터페이스까지 팩토리 패턴으로 멋지게 ‘리팩토링’ 해버렸을 겁니다. 당연히 기존 테스트 코드는 다 깨지고, 리뷰어는 쌍욕을 하며 PR을 반려했겠죠.

하지만 Karpathy Skills가 엄격하게 적용된 환경에서는 완전히 달랐습니다.

첫째, Surgical Changes(외과적 수정)의 위력입니다. 녀석은 기존 결제 모듈의 끔찍한 스파게티 코드를 보면서도 꾹 참고, 딱 A사 연동에 필요한 클래스와 함수 하나만 추가했습니다. 주변의 지저분한 주석과 오타? 전혀 건드리지 않았습니다. 본인이 보기엔 비효율적이어도 철저히 ‘Match existing style’을 지킨 거죠. 심지어 안 쓰이는 데드코드를 발견했지만, 지우지 않고 “Line 402에 미사용 변수가 있습니다. 삭제할까요?”라고 물어보더군요. 이 순간 저는 녀석이 정말 믿음직한 동료처럼 느껴졌습니다.

둘째, 대규모 트래픽 대비와 목표 주도 실행(Goal-Driven Execution)입니다. “초당 1만 건의 트랜잭션 스파이크를 견딜 수 있게 Redis 캐시를 붙여줘”라고 지시하자, 녀석은 곧바로 로직을 뜯어고치는 대신 이렇게 답했습니다.

“성공 기준을 정의합니다. 1. 병목 구간을 재현하는 부하 테스트(Mock) 작성 -> 2. Redis 캐싱 적용 -> 3. 캐시 히트율 90% 이상 및 응답 속도 50ms 이하 달성 검증. 이 계획대로 진행할까요?”

허락이 떨어지자마자 녀석은 혼자서 테스트를 돌리고 실패하면 수정하는 자율 루프(Autoresearch loop)를 돌기 시작했습니다. 약 30분 뒤, 완벽하게 검증된 캐시 로직과 통과된 테스트 코드가 담긴 PR을 올려주더군요. 이것이 바로 카파시가 증명한 ‘검증 루프’가 실무에서 빛을 발하는 순간이었습니다.

Honest Review & Trade-offs (진짜 장단점과 한계)

물론 세상에 완벽한 은탄환은 없습니다. 시니어 개발자로서 솔직히 말씀드리자면, 이 방식을 현업에 도입할 때 감수해야 할 뼈아픈 트레이드오프들이 분명 존재합니다.

첫째, 초기 개발 속도의 급감과 ‘질문 지옥(Question Hell)’입니다. ‘Think Before Coding’을 강제해 놓으니, 조금만 컨텍스트가 부족해도 코딩은 안 하고 계속 역질문만 던집니다. “이 파라미터는 Null이 될 수 있나요?”, “이 방식의 트레이드오프는 이건데 어느 쪽을 택하시겠습니까?” 바쁘게 치고 나가야 할 MVP 개발 단계에서는 이 깐깐하고 방어적인 태도가 숨 막힐 정도로 답답하게 느껴질 때가 있습니다.

둘째, 비용(Token) 폭발 리스크입니다. 목표 주도 검증을 위해 AI가 혼자서 계획을 세우고, 테스트를 돌리고, 에러를 분석하고 다시 짜는 루프를 돌게 되는데, 이 과정에서 소비되는 API 토큰량이 기하급수적으로 늘어납니다. 자칫 모델이 잘못된 로직으로 무한 루프에 빠지면, 하룻밤 새 수만 원 이상의 API 요금 폭탄을 맞을 수 있습니다.

셋째, 컨텍스트 윈도우의 주의력 결핍(Attention Decay)입니다. .cursorrules에 이 모든 행동 룰을 쑤셔 넣으면, 시스템 프롬프트가 매우 무거워집니다. 때로는 모델이 가이드라인 자체를 강박적으로 신경 쓰느라, 정작 해결해야 할 복잡한 비즈니스 로직의 디테일을 놓치는 주객전도 현상이 발생하기도 합니다. 지침은 강력하지만, 그만큼 모델의 ‘주의력 자원’을 갉아먹는다는 점을 명심해야 합니다.

Closing Thoughts

“LLM에게 무엇을 할지 지시하지 마라. 성공 기준을 주고 달리게 하라.” (Don’t tell it what to do, give it success criteria and watch it go)

안드레아 카파시가 남긴 이 말은, 우리가 AI를 대하는 패러다임이 완전히 바뀌었음을 선언합니다. AI는 이제 우리 대신 타자를 쳐주는 빠릿빠릿한 주니어 인턴이 아닙니다. Andrej Karpathy Skills는 이 똑똑하지만 통제 불능인 인턴에게 ‘산전수전 다 겪은 시니어 엔지니어의 규율’을 이식하는 뇌수술과 같습니다.

현업 실무자로서 우리는 이제 코드를 ‘어떻게 짜느냐’의 시대에서 벗어나, AI의 폭주를 어떻게 제어하고 ‘올바른 성공 기준’을 어떻게 설계할 것인가를 치열하게 고민해야 합니다. AI가 뱉어낸 화려한 코드를 리뷰하며 찝찝함에 밤을 새우는 것에 지치셨다면, 당장 프로젝트 루트에 CLAUDE.md를 만들고 이 룰을 심어보세요. 쏟아지는 코드의 양은 줄어들겠지만, 그 코드가 주는 평화로움은 배가 될 것입니다.

References

• https://github.com/forrestchang/andrej-karpathy-skills
• https://github.com/karpathy/autoresearch
• https://aakashg.com/
• https://open-vsx.org/extension/MichielWBeijen/andrej-karpathy-skills-cursor-vscode