FastGHA: 실시간 퓨샷 3D가우시안 헤드 아바타
FastGHA는 몇 장의 입력 이미지로 애니메이션 가능한 3D 가우시안 헤드 아바타를 만드는 피드포워드 방식의 연구다. 표정 코드를 바탕으로 가우시안의 변형을 예측해 실시간 애니메이션을 지원한다.
FastGHA는 서로 다른 시점과 표정으로 촬영한 소수의 인물 사진을 입력받아, 움직일 수 있는 3D 머리 아바타를 구성하는 연구다. 기존 방식은 대규모 다중 시점 촬영 장비를 쓰거나 인물마다 별도의 최적화 과정을 거치는 경우가 많았다. 이 연구는 처음 보는 대상에도 적용할 수 있도록, 입력 이미지에서 바로 아바타를 추론하는 피드포워드 구조를 제안한다.
핵심은 이미지의 픽셀마다 3D 가우시안 표현을 학습하고, 여러 시점의 정보를 트랜스포머 기반 인코더에서 결합하는 데 있다. 연구진은 DINOv3와 Stable Diffusion VAE에서 얻은 이미지 특징을 함께 사용하며, 사전 학습된 대규모 재구성 모델의 포인트 맵을 기하 구조 감독 신호로 활용해 머리 형상의 매끄러움을 높였다.
애니메이션 단계에서는 먼저 중립 상태의 정준 가우시안 머리를 재구성한 뒤, 가벼운 MLP 동적 네트워크가 표정 코드에 따라 각 가우시안의 3D 변형을 예측한다. 이렇게 입력 사진에 있던 표정과 아바타의 움직임을 분리해 다루며, 세밀한 외형 재현과 실시간 표정 애니메이션을 함께 목표로 한다. FastGHA는 ICLR 2026에 발표됐다.