디즈니의 고효율 AI 모션 트래킹 기술
고해상도 광학 흐름 추정에서 모든 쌍 상관관계 볼륨을 더 적은 메모리와 연산으로 샘플링하는 방법을 제안한 CVPR 2026 논문이다. RAFT의 수학적 연산을 유지하면서 8K 입력에서 정확도와 실행 시간을 함께 개선하는 것을 목표로 한다.
두 영상 프레임 사이의 픽셀 움직임을 추정하는 광학 흐름은 프레임 보간, 영상 압축, 인페인팅 등 여러 영상 처리 작업의 기반이 된다. 이 논문은 RAFT 계열이 사용하는 모든 쌍 상관관계 볼륨의 샘플링에 주목한다. 기존 방식은 모든 픽셀 조합의 값을 미리 계산하면 메모리 요구량이 급격히 커지고, 필요한 값을 그때그때 계산하면 실행 속도가 느려지는 문제가 있었다.
Karlis Martins Briedis, Markus Gross, Christopher Schroers는 실제 샘플링 과정에서 볼륨 전체가 아니라 작고 규칙적인 일부만 참조된다는 점을 분석했다. 이를 바탕으로 필요한 블록만 계산하는 부분 블록 희소 상관관계 볼륨과 패치 중심 메모리 배치를 제안했다. 논문은 이 방법이 RAFT에서 정의한 정확한 수학적 연산을 그대로 유지한다고 설명한다.
평가에서 제안 방식은 주문형 샘플링보다 동일한 낮은 메모리 사용량에서 최대 92% 높은 성능을 보였고, 기본 구현과 비교해 최대 99% 낮은 메모리 사용량을 제시했다. 고해상도 입력의 전체 추론 시간은 최대 63% 절감될 수 있으며, 연구진은 BLENDER 영화 CHARGE를 바탕으로 만든 8K 데이터셋과 SEA-RAFT의 추론 단계 확장을 활용해 고해상도 정확도·실행 시간 성능을 검토했다.