카메라 없이 WiFi CSI로 자세를 읽을 수 있나: WiFi-DensePose의 조건

WiFi CSI로 카메라 없이 사람의 자세 단서를 추정할 수는 있지만, 일반 공유기 하나만 켜면 벽 너머의 정밀 3D 자세가 바로 나오는 기술로 이해해서는 안 됩니다. 핵심은 카메라 교사가 만든 DensePose 표현을 동기화된 CSI에서 다시 예측하도록 학습하는 데 있습니다. 도입 여부는 데모 한 장보다 실제 방, 안테나, 사람 수가 달라졌을 때 오류가 얼마나 커지는지로 판단해야 합니다.

CSI는 사진 대신 무엇을 측정하나

Channel State Information(CSI)은 무선 채널의 진폭과 위상이 공간과 움직임에 따라 달라지는 모습을 담습니다. 사람의 몸과 가구, 벽에서 반사된 신호가 변하면 모델은 그 패턴에서 자세 특징을 찾습니다. 어두운 환경처럼 RGB 카메라가 불리한 조건을 보완할 가능성이 있습니다.

DensePose 출력은 신체를 24개 영역으로 나누고 표면의 UV 좌표를 연결하는 표현으로 설명됩니다. 원문은 이를 3D 자세라고 부르지만, 이 표면 매핑을 관절의 절대 3D 좌표나 사람의 상세 영상과 같은 것으로 보면 안 됩니다.

카메라는 학습할 때만 교사로 쓴다

Teacher–Student 구조에서는 RGB 카메라 기반 모델이 신체 영역과 좌표를 학습 목표로 만들고, WiFi Student가 같은 시점의 CSI에서 그 출력을 예측합니다. 학습이 끝나면 추론 때 카메라를 제거할 수 있다는 구상입니다.

이 방식의 성능은 교사 라벨과 두 센서의 시간 정렬에 묶입니다. 카메라가 가려진 부위를 잘못 추정하거나 CSI와 프레임이 어긋나면 Student도 그 오류를 배웁니다. 원문의 Python 함수는 전처리, 백본, DensePose head를 나타낸 의사 코드로 실제 데이터 수집이나 모델 호출법이 아닙니다.

설치 환경이 바뀌면 다시 검증해야 한다

안테나 배열과 송수신기 위치, 방의 크기, 가구와 다른 사람의 움직임은 신호 패턴을 바꿉니다. 학습한 방에서 높은 정확도가 나와도 다른 집에 장치를 옮기면 성능이 유지되지 않을 수 있습니다. 로봇 청소기나 대형 가전이 움직이는 조건, 한 명과 여러 명, 벽 유무를 나눠 평가해야 합니다.

낙상 감지나 제스처처럼 큰 동작에는 유용할 가능성이 있지만 미세한 손가락 움직임은 해상도 한계가 큽니다. “LiDAR급”이나 “저렴한 공유기만으로 충분”하다는 표현은 원문에 재현 조건이 없어 배포 판단 근거로 쓰기 어렵습니다.

카메라가 없다고 프라이버시 문제가 사라지진 않는다

이미지를 저장하지 않는 것은 장점이지만 누가 언제 움직였는지, 어떤 자세였는지를 감지하는 데이터도 민감할 수 있습니다. 사용자 고지, 수집 범위, 보관 기간과 접근 권한을 정해야 합니다. 벽을 통과하는 감지는 동의하지 않은 공간까지 관측할 위험도 함께 만듭니다.

연구 배경은 arXiv 논문, DensePose 구현 맥락은 Detectron2 프로젝트에서 확인할 수 있습니다. frontmatter의 별도 GitHub 링크를 포함해 사용 시점에 실제 하드웨어, 데이터, 라이선스를 다시 확인해야 합니다.

카메라 자세 추정과 무엇이 다른가

카메라는 픽셀에서 윤곽과 질감을 직접 관측하지만 CSI는 송신기와 수신기 사이에서 여러 경로로 도달한 전파의 변화를 관측합니다. 따라서 WiFi 모델이 얻는 것은 사람의 모습 자체가 아니라, 사람이 움직일 때 달라지는 채널 패턴입니다. 조명이 꺼져도 신호는 남을 수 있지만 어떤 신체 부위가 변화를 만들었는지는 학습 데이터가 연결해 줘야 합니다.

판단 항목	카메라 기반 입력	CSI 기반 입력
직접 관측	색, 윤곽, 질감	진폭, 위상 변화
주요 환경 변수	조명, 가림, 시야각	안테나, 반사체, 방 구조
학습 라벨	이미지에서 직접 구성 가능	동기화된 교사 출력에 의존
민감 정보	사람의 외형이 남을 수 있음	자세, 움직임, 재실 패턴이 남을 수 있음

둘 중 하나가 항상 우월한 것은 아닙니다. 조명이나 영상 저장이 문제인 공간에서는 CSI가 후보가 되지만, 신체의 세부 위치를 안정적으로 구분해야 하거나 방 배치를 자주 바꾸는 환경에서는 카메라가 더 단순할 수 있습니다. 두 센서를 함께 쓰는 경우에도 한쪽을 정답으로 간주하지 말고 각각의 실패 조건을 표시해야 합니다.

데이터 수집은 어떤 순서로 검증해야 하나

첫 단계는 CSI와 카메라 프레임의 시계를 맞추는 일입니다. 같은 동작의 시작점이 어긋나면 WiFi Student는 현재 신호로 과거 또는 미래 자세를 맞히도록 학습하게 됩니다. 빠른 팔 동작처럼 짧은 사건을 넣어 두 센서의 시간 차이를 먼저 측정하면 느린 걷기만 볼 때 숨겨지는 정렬 오류를 찾기 쉽습니다.

다음으로 한 사람, 한 위치, 한 동작의 좁은 조건에서 신호가 반복되는지 봅니다. 그 뒤 사람의 위치, 몸 방향, 안테나 간격, 가구 상태를 한 변수씩 바꿉니다. 모든 변수를 동시에 섞으면 성능 저하가 모델 때문인지 방의 반사 경로 때문인지 구분하기 어렵습니다. 학습에 없던 방은 마지막에 별도 holdout으로 남겨야 장소를 외운 모델과 자세를 읽는 모델을 구별할 수 있습니다.

평가 단위도 나눠야 합니다. 신체 영역 분류가 맞아도 UV 좌표가 흔들릴 수 있고, 평균 오차가 낮아도 낙상처럼 중요한 사건에서 놓칠 수 있습니다. 전체 평균 외에 사람별, 동작별, 거리별 오류와 미검출 구간을 남기고, 교사 카메라가 실패한 표본은 별도로 표시해야 합니다.

어떤 실패를 먼저 재현해야 하나

한 명을 학습한 뒤 두 명이 교차하면 반사 패턴이 겹쳐 어느 사람의 신체인지 연결하기 어려울 수 있습니다. 가구를 옮기거나 문을 열면 고정된 배경 반사가 달라지고, 송수신기 하나가 움직여도 학습 때의 좌표계가 무너질 수 있습니다. 사람은 그대로인데 모델 출력만 크게 변한다면 자세보다 공간 배치를 학습했을 가능성을 의심해야 합니다.

큰 동작은 맞지만 손가락이나 작은 관절이 흔들리는 경우에는 입력 해상도와 교사 표현의 한계를 먼저 봐야 합니다. 반대로 정적인 자세는 안정적인데 빠른 동작이 늦게 따라온다면 센서 동기화와 시간 창 길이가 원인일 수 있습니다. 여러 사람이 있을 때 신체 영역이 서로 바뀌면 단일 인물 평가만으로는 드러나지 않는 identity 연결 문제가 남아 있다는 뜻입니다.

운영 중에는 기준 신호가 장기간 변하는지도 관찰해야 합니다. 새 가전이나 이동 물체가 들어온 날, 안테나가 재부팅된 뒤, 방의 사용 인원이 달라진 뒤를 구분해 로그를 남기면 재학습이 필요한 조건을 정할 수 있습니다. 경고 임계값은 연구 데이터의 평균이 아니라 실제 사용처에서 허용할 오탐과 미탐 비용으로 정해야 합니다.

배포 전에 어떤 합격선을 세울까

낙상 경보라면 놓친 사건과 잘못 울린 경보의 비용이 모두 크므로, 보조 센서나 사람 확인 절차가 필요합니다. 재실 감지라면 자세의 세밀한 UV 정확도보다 사람이 있는지 없는지의 안정성이 중요할 수 있습니다. 같은 모델이라도 목적에 따라 필요한 출력과 합격선이 달라집니다.

배포 후보는 최소한 학습한 방, 배치를 바꾼 같은 방, 처음 보는 방에서 나눠 평가합니다. 추론 지연과 하드웨어 장애도 함께 재고, CSI가 끊겼을 때 마지막 자세를 계속 표시하지 않도록 입력 유효성 상태를 출력해야 합니다. 관측 범위를 사용자에게 설명하고 삭제 요청과 접근 기록을 처리할 수 있을 때 기술 성능과 운영 책임이 함께 갖춰집니다.

출력 화면에도 불확실성과 센서 상태를 드러내는 편이 좋습니다. 신호가 약하거나 학습 범위를 벗어난 조건에서 정밀한 윤곽을 계속 그리면 사용자는 추정값을 관측 사실로 오해할 수 있습니다. “판단 불가” 상태와 재보정 절차를 정의하고, 중요한 경보는 단일 프레임이 아니라 일정 구간의 일관성과 다른 확인 수단을 함께 사용해야 합니다.

모델이 업데이트되면 같은 장소의 고정 검증 동작을 다시 수행해 이전 버전과 비교합니다. 정확도 상승뿐 아니라 특정 사람, 위치에서 새로 생긴 오류와 보정에 걸리는 시간을 함께 기록해야 합니다.

원문과 버전 확인

• 공식 GitHub 저장소

함께 읽으면 이해가 이어지는 글

• RuView는 WiFi로 무엇을 감지하나: CSI 센싱의 범위, 오탐, 개인정보 — RuView가 WiFi CSI 변화로 존재, 움직임, 생체 신호를 추정하는 구조와 ESP32, Rust/WASM 구현 주장, 환경 보정, 오탐, 개인정보 한계를 정리합니다.
• NeoVerse는 흔들린 단안 영상으로 4D를 어떻게 만드나: Pose-free의 의미 — 카메라 포즈 전처리와 장면별 최적화를 줄이는 피드포워드 4D 표현, 열화 시뮬레이션, 새 궤적 생성의 경계
• 카메라 자세 없이 실내 3D 객체를 찾을 수 있을까? VGGT-Det의 조건 — VGGT-Det이 다중 RGB 이미지와 VGGT 내부 attention, geometry feature로 카메라 pose 없이 3D 객체를 찾는 방법과 실내 적용의 한계를 정리합니다.

자주 묻는 질문

일반 가정용 공유기만으로 WiFi-DensePose를 바로 쓸 수 있나요?

그렇게 단정할 수 없습니다. CSI를 안정적으로 얻을 수 있는 송수신 장치와 안테나 배치, 동기화된 학습 데이터가 필요하며, 사용하려는 방과 사람 수에서 다시 성능을 확인해야 합니다.

추론할 때 카메라가 정말 필요 없나요?

Teacher–Student 학습이 끝난 뒤 Student 추론은 CSI만 사용할 수 있다는 구상입니다. 다만 학습 단계의 카메라 라벨과 시간 정렬 오류가 Student에 남으므로 카메라를 제거한 조건에서도 별도 검증이 필요합니다.

카메라보다 프라이버시가 항상 더 좋은가요?

원본 영상을 저장하지 않는 장점은 있지만 움직임과 자세, 재실 여부도 민감한 정보가 될 수 있습니다. 관측 범위와 보관 기간, 접근 권한, 주변 공간 사용자의 동의를 함께 정해야 합니다.