Claude의 코드 실행은 산술 결과를 재현 가능하게 만들지만, 잘못 짠 코드와 잘못 읽은 데이터, 상관관계를 인과로 해석하는 오류까지 없애지는 못합니다. 신뢰성은 “실행 성공”이 아니라 data contract, 통계 가정, 독립 재실행과 반증 가능한 결론을 모두 통과했는지로 판단해야 합니다.
Claude Scientific Skills처럼 분석 절차를 코드로 표현하는 접근의 장점은 답만 받지 않고 계산 과정을 검사할 수 있다는 데 있습니다. Pandas로 데이터를 정리하고 통계를 계산하며 차트를 그리는 작업은 텍스트만으로 숫자를 추측하는 것보다 검증하기 쉽습니다. 다만 “코드가 실행됐다”와 “과학적으로 맞다”는 서로 다른 판정입니다.
기존 텍스트 응답은 모델이 다음 문장을 생성하는 과정에서 산술을 틀릴 수 있습니다. Python 샌드박스에서 코드를 실행하면 동일한 입력과 코드에 대해 같은 계산 결과를 다시 얻을 수 있고, 중간 값도 출력해 확인할 수 있습니다.
| 단계 | 코드 실행이 돕는 부분 | 여전히 사람이 확인할 부분 |
|---|---|---|
| 데이터 읽기 | 파일을 실제로 파싱 | 열 의미와 단위 |
| 통계 계산 | 지정된 수식대로 계산 | 수식 선택과 가정 |
| 이상치 추출 | 조건을 일관되게 적용 | 조건의 타당성 |
| 시각화 | 데이터로 차트 생성 | 축, 범례, 해석 왜곡 |
| 결론 작성 | 계산 결과를 인용 | 인과와 일반화 |
결정론적인 것은 실행된 연산이지, 모델이 선택한 분석 설계가 아닙니다. 틀린 열을 고르거나 부적절한 통계를 쓰면 Python은 그 오류를 정확하게 반복합니다.
원문에 나온 코드는 평균과 표준편차를 이용해 한쪽 꼬리의 값을 고릅니다.
1
2
3
4
5
6
7
import pandas as pd
df = pd.read_csv('data.csv')
mean_val = df['value'].mean()
std_dev = df['value'].std()
outliers = df[df['value'] > mean_val + 3 * std_dev]
print(outliers)
이 블록은 완전한 분석 절차가 아닙니다. 파일 위치와 인코딩, value 열의 자료형, 단위, 결측치, 표본 크기, 분포 가정, 반대쪽 꼬리와 오류 처리가 빠져 있습니다. “이상치”의 기준도 업무 목적에 따라 달라집니다. 실행 전 열 요약과 결측치를 보고, 결과 행을 원본과 대조해야 합니다.
또한 이 코드는 IQR을 계산하지 않습니다. 평균과 표준편차를 사용한 임계값이므로, 설명과 실제 식이 일치하는지도 리뷰 대상입니다. 코드가 보이는 것의 가장 큰 이점은 이런 불일치를 사람이 찾을 수 있다는 점입니다.
로그에서 500번대 오류와 CPU 사용률이 같은 시간대에 증가했다고 해도 CPU가 오류를 일으켰다고 바로 결론 내릴 수 없습니다. 둘 다 트래픽 증가나 배포, 외부 서비스 장애의 영향을 받았을 수 있습니다. 코드 실행은 상관계수와 그래프를 정확히 만들 수 있지만 관측 데이터만으로 숨은 원인을 제거하지는 못합니다.
인과에 가까운 판단을 하려면 시간 순서, 대조 구간, 배포 이력, 다른 설명 변수를 확인하고 가능한 경우 재현 실험을 설계해야 합니다. 모델에게도 “관찰”, “가설”, “추가 검증”을 구분해 출력하도록 요구하는 편이 좋습니다. 분석 결과가 강한 문장으로 바뀌는 순간에 가장 많은 검토가 필요합니다.
코드 실행 환경은 보안을 위해 외부 인터넷이나 임의의 pip install을 제한할 수 있습니다. 필요한 패키지가 없거나 파일 크기, 실행 시간이 제한되면 분석을 단순화해야 합니다. 지원 라이브러리와 도구 호출 방식은 도구 사용 문서와 현재 환경에서 확인해야 합니다.
민감한 CSV와 로그를 업로드하면 데이터가 추론 서비스로 전달됩니다. 열 이름만 보고 익명이라고 판단하지 말고 값 조합으로 사람이나 시스템이 식별되는지도 확인해야 합니다. 회사 데이터라면 허용된 계정, 보존 정책, 삭제와 접근 기록을 먼저 검토합니다. Claude 3.5 Sonnet 소개는 모델 배경 자료이지 조직의 데이터 허용 정책을 대신하지 않습니다.
작은 표본부터 시작해 모델이 생성한 코드를 저장하고, 사용한 파일의 버전과 출력 값을 함께 남깁니다. 중요한 수치는 다른 계산이나 사람이 고른 샘플로 교차 확인합니다. 열을 바꾸거나 극단값을 제거했을 때 결론이 유지되는지도 보면 분석의 민감도를 알 수 있습니다.
Claude를 “새 과학자”로 부르기보다 코드와 가설을 제안하는 분석 보조자로 두는 편이 정확합니다. 사람이 질문과 검증 기준을 정하고, 실행 가능한 계산은 도구에 맡기며, 결과를 반증할 증거를 찾을 때 코드 실행의 장점이 가장 잘 살아납니다.
Model이 file을 열기 전에 row가 무엇을 나타내는지, unit, timezone, missing code와 허용 범위를 정합니다. 같은 value라도 Celsius와 Fahrenheit, patient와 measurement row는 분석 의미가 다릅니다.
| Contract 항목 | 확인할 오류 |
|---|---|
| Primary key, row grain | 한 대상의 반복 row를 독립 표본으로 계산 |
| Unit, timezone | 값 변환, 기간 join 오류 |
| Missing, censoring | 결측을 0으로 처리하거나 탈락 편향 |
| Label 생성 시점 | 미래 정보 leakage |
| Inclusion rule | 분석 중 유리한 sample만 선택 |
Code가 contract를 검사하도록 schema validation과 assertion을 넣습니다. 예상 row 수, unique key, 범위가 다르면 조용히 계속하지 않고 중단합니다. Chart에도 sample size와 unit을 표시합니다.
Model에게 바로 결론을 요청하지 않고 observation, candidate hypothesis, test와 limitation을 분리하게 합니다. Null hypothesis, metric과 exclusion을 data를 보기 전에 고정하면 결과를 본 뒤 유리한 분석만 선택하는 위험을 줄일 수 있습니다.
같은 question에 naive baseline, model-generated method, analyst-approved method를 비교합니다. 숫자 차이보다 어떤 assumption이 바뀌었는지 기록합니다. Outlier threshold, aggregation window와 covariate를 바꾼 sensitivity analysis에서 결론이 뒤집히면 강한 일반화를 피합니다.
Notebook session state를 모두 지우고 clean environment에서 script를 처음부터 실행합니다. Data hash, package lock과 random seed를 고정하고 output table, figure hash 또는 tolerance를 비교합니다. 모델 설명만 남기지 말고 실제 code artifact와 stderr도 저장합니다.
중요한 수치는 다른 library나 간단한 hand calculation으로 교차 확인합니다. 같은 code를 두 번 돌리는 것은 determinism 검사이지 independent validation이 아닙니다. Reviewer가 원본 data 일부와 intermediate table을 대조할 수 있게 lineage를 남깁니다.
Package 부재, memory, time limit와 file truncation 때문에 model이 sample을 줄이거나 method를 바꿨다면 이를 명시해야 합니다. 부분 data로 계산하고 전체 결과처럼 보고하지 않습니다. Network가 막혀 최신 reference를 확인하지 못했다면 source limitation을 기록합니다.
민감 data는 최소 column, row로 줄이고 identifier를 제거하되 linkage risk를 평가합니다. Output chart와 log에도 개인값이 남을 수 있으므로 다운로드, retention을 통제합니다.
아닙니다. 잘못된 column, unit, 통계 가정도 정확히 실행되므로 input contract, method 선택과 결론의 범위를 별도로 review해야 합니다.
숨은 변수, 시간 추세, selection bias가 있을 수 있어 temporal order, control과 intervention 없이 causal claim으로 확대하면 안 됩니다.
Data version, hash, environment, package version, 실행 code, seed, output과 사람이 승인한 해석을 함께 남기고 clean environment에서 다시 실행해야 합니다.
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.