MA-EgoQA는 여섯 에이전트의 1인칭 영상을 함께 묻는 문제를 정의하지만, EgoMAS도 아직 운영 의사결정을 맡길 만큼 정확하다는 결과는 아닙니다.
MA-EgoQA 프로젝트는 한 질문이 여섯 개의 Egocentric Video와 7일에 걸친 사건을 참조하는 환경을 평가합니다. 한 Camera의 객체를 맞히는 수준을 넘어 어느 Agent가 무엇을 봤고, 서로의 행동이 시간과 공간에서 어떻게 이어졌는지 물어봅니다. 베이스라인 EgoMAS는 모든 Frame을 한 Context에 넣지 않고 Agent별 검색과 System-level Shared Memory로 범위를 줄입니다.
각 Agent의 Camera는 다른 위치와 시각을 갖습니다. 같은 물체를 다른 시간에 보거나, 한 Agent의 행동 결과를 다른 Agent만 볼 수 있습니다. 답을 만들려면 Agent ID, Timestamp, 공간 접점을 함께 유지해야 합니다.
Benchmark에는 단순 객체 인식뿐 아니라 다른 Agent의 상태, 의도를 추론하는 Theory-of-Mind와 Task Coordination 성격의 질문도 포함됩니다. 시야에 없던 사건을 봤다고 답하거나 A의 행동을 B에게 배정하는 오류가 핵심 실패입니다.
질문이 들어오면 EgoMAS는 각 Agent의 Timeline에서 관련 Clip을 독립적으로 검색합니다. 여섯 Video를 단순 연결하는 대신 각 Shard에서 top-k 후보를 가져오는 방식에 가깝습니다. 어느 Agent의 어떤 구간이 선택됐는지 Log로 남길 수 있어 검색 실패를 추적하기도 쉽습니다.
입력량은 줄지만 Retrieval이 답에 필요한 Clip을 놓치면 VLM은 이후 단계에서 복구할 수 없습니다. 질문에 이름이 직접 나오지 않는 간접 사건과 긴 인과 관계는 단순 의미 유사도만으로 찾기 어려울 수 있습니다. Agent별 top-k와 시간 Window를 질문 유형별로 조정해야 합니다.
각 Agent에서 찾은 Clip은 Shared Memory Buffer로 모여 시간, 공간 정렬을 거칩니다. A의 2분 30초와 B의 2분 32초가 같은 장소의 사건이라면 서로 연결할 수 있는 표현을 만드는 단계입니다. Agent ID와 Timestamp를 유지하면 Flat Concatenation보다 출처를 구분하기 쉽습니다.
그러나 비동기 Camera의 Clock Drift, 가려진 Scene, 같은 모양의 여러 장소가 있으면 정렬이 틀릴 수 있습니다. Shared Memory가 만들어졌다는 사실과 실제 World State가 맞다는 사실은 다릅니다. 최종 답에는 사용한 Agent, 시간 구간을 함께 보여 주어 사람이 근거를 되짚을 수 있어야 합니다.
질의 때 top-k Frame만 불러오더라도 모든 Video에서 Embedding과 Metadata를 지속적으로 만들어야 합니다. Agent 수와 촬영 시간이 늘면 Storage, Index Update와 GPU Inference 비용이 누적됩니다. Edge Device에서 모두 처리하기 어렵다면 어떤 특징을 현장에서 만들고 어떤 원본을 Server로 보낼지 정해야 합니다.
원문은 EgoMAS를 적용해도 정답률이 Production에 충분하지 않다고 지적합니다. 검색 효율 개선과 VLM의 시공간 추론 능력은 별개 병목입니다. Benchmark 점수만 보지 말고 잘못된 검색, 잘못된 정렬, 올바른 Evidence를 보고도 틀린 추론을 분리해야 합니다.
실시간 Robot 제어보다 저장된 Video의 사고 조사나 사후 검색이 첫 후보입니다. 정답이 있는 사건을 선정해 Agent별 Clip Recall, 정렬 오차, 답변 정확도, 질문당 Latency와 비용을 측정합니다. 답이 틀렸을 때 원본 Clip으로 바로 이동할 수 있어야 합니다.
물류, 재난 같은 고위험 현장에서는 EgoMAS 답을 사실로 자동 처리하지 말고 조사할 구간을 좁히는 추천으로 사용해야 합니다. Paper ID 2603.09827의 가치는 완성된 다중 Robot 기억보다, 여섯 시점과 일주일의 사건을 함께 이해할 때 현재 VLM이 어디서 무너지는지 측정 가능한 문제로 만든 데 있습니다.
질문마다 답에 꼭 필요한 에이전트와 시간 구간을 사람이 표시하고 EgoMAS의 top-k 결과에 포함됐는지 확인합니다. 최종 답이 우연히 맞아도 필수 근거를 검색하지 못했다면 안정적인 성공으로 보기 어렵습니다. 반대로 정답 클립을 모두 찾았는데 답이 틀리면 검색이 아니라 정렬이나 추론이 병목입니다.
질문 유형에 따라 필요한 검색 폭이 다릅니다. 특정 물체를 마지막으로 본 에이전트를 찾는 질문은 여러 시점과 긴 시간을 훑어야 하고, 짧은 동시 행동 질문은 좁은 시간 창이 중요할 수 있습니다. top-k를 무조건 키우면 재현율은 오르지만 VLM 입력과 잡음도 늘므로 유형별 비용 곡선을 봐야 합니다.
여섯 카메라의 시계가 몇 초씩 어긋나면 원인과 결과의 순서를 반대로 연결할 수 있습니다. 영상이 끊기거나 프레임 속도가 달라지면 단순 타임스탬프 비교만으로 같은 사건을 맞추기 어렵습니다. 공통으로 관찰한 사건이나 외부 기준 시간을 이용해 오프셋을 추정하고 불확실성을 남겨야 합니다.
동기화 테스트에서는 알려진 사건을 여러 에이전트가 관찰한 구간을 사용합니다. 의도적으로 시간을 어긋나게 한 뒤 정렬이 얼마나 견디는지, 오차가 커지면 답을 보류하는지 봅니다. 정확한 하나의 시각으로 억지 정렬하는 것보다 가능한 시간 범위를 표시하는 편이 근거에 정직할 수 있습니다.
각 클립에는 에이전트 ID, 촬영 시각, 위치 정보와 원본 식별자가 끝까지 유지되어야 합니다. 같은 물체가 여러 장소에 있거나 유사한 복도가 반복되면 시각 유사도만으로 사건을 합칠 수 있습니다. 최종 답에는 누가 언제 어디서 관찰했는지를 근거와 함께 제시하게 합니다.
오류 평가에는 A의 행동을 B에게 잘못 배정한 경우, 다른 날의 같은 장소를 합친 경우, 보지 못한 사건을 본 것으로 답한 경우를 따로 셉니다. 단순 정답률은 이런 위험한 출처 오류를 숨길 수 있습니다. 에이전트, 시간, 장소 중 어느 축이 틀렸는지 표시하면 Shared Memory의 개선 방향이 선명해집니다.
원본 영상은 재검증에 유용하지만 여러 사람과 공간의 민감 정보를 담을 수 있습니다. 원본, 특징 벡터, 검색 로그와 답변의 보존 기간과 접근 권한을 각각 정해야 합니다. 특징만 남겨도 개인이나 장소를 식별할 가능성이 있으므로 자동으로 익명 데이터가 된다고 가정하면 안 됩니다.
현장에서 특징을 만들면 원본 전송을 줄일 수 있지만 잘못된 특징을 나중에 다시 계산하기 어렵습니다. 서버로 원본을 보내면 감사는 쉬워지지만 네트워크와 저장 부담이 커집니다. 사고 조사에 필요한 최소 증거와 삭제 요구를 충족하는 보존 정책을 사용 목적별로 정해야 합니다.
결과를 이미 아는 사건 여러 개를 고르고 필요한 클립과 정답을 사람이 표시합니다. 인덱싱 완주율, 필수 클립 재현율, 시간 정렬 오차, 근거를 본 상태의 답 정확도, 질문당 지연과 비용을 순서대로 측정합니다. 한 단계의 실패가 다음 단계 점수에 섞이지 않도록 정답 클립을 직접 제공한 대조 실험도 둡니다.
PoC의 결과는 자동 의사결정보다 조사자에게 후보 구간을 추천하는 방식으로 보여 주는 것이 좋습니다. 사람이 원본으로 이동하고 다른 에이전트의 관측을 비교할 수 있어야 합니다. 누락된 영상이나 불확실한 정렬이 있으면 시스템이 확정 답 대신 한계를 표시하는지도 통과 기준에 포함합니다.
그렇지 않습니다. 관련 클립 검색, 에이전트, 시간 정렬, 최종 추론 중 어느 단계에서도 오류가 날 수 있어 사용한 영상 구간과 답의 근거를 함께 확인해야 합니다.
특징과 메타데이터로 검색 범위를 줄일 수 있지만 원본을 버리면 잘못된 검색과 답을 사람이 검증하기 어려울 수 있습니다. 보존 범위는 비용, 개인정보, 감사 요구를 함께 고려해야 합니다.
현재 글의 근거만으로는 적합하다고 볼 수 없습니다. 먼저 저장 영상의 사후 조사에서 검색 재현율, 정렬 오차, 답 정확도와 지연을 측정하는 편이 안전합니다.
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.