RelightAnyone: 자유자재로 조명 바꾸는 3D 얼굴

RelightAnyone은 한 장 또는 여러 장의 인물 이미지로 만든 3D 가우시안 헤드 아바타를 다양한 장면 조명에 맞춰 재조명하는 모델이다. 대상 인물별 OLAT 촬영 없이도 재조명 가능한 파라미터를 학습하는 2단계 방식을 제안한다.

RelightAnyone은 인물의 한 장 또는 여러 장의 이미지에서 3D 가우시안 기반 헤드 아바타를 만들고, 이를 새로운 환경 조명에 맞춰 다시 렌더링하려는 연구다. 기존의 고품질 재조명은 보통 한 번에 하나의 조명을 비추는 OLAT(one-light-at-a-time) 촬영을 인물마다 요구했다. 이 작업은 새 대상에게 그 촬영을 별도로 요구하지 않는 방식을 제시한다.

핵심은 평평한 조명 아래 구축한 3DGS 아바타와 재조명 가능한 가우시안 파라미터 사이의 대응을 배우는 것이다. 첫 단계에서는 OLAT 없이 여러 시점 데이터로 고정 조명 아바타를 모델링하고, 데이터셋마다 다른 조명 조건을 맞추기 위해 학습 가능한 조명 코드를 사용한다. 이어지는 단계에서는 비교적 작은 OLAT 데이터로 물리 기반 반사 파라미터로의 변환을 학습한다.

이 분리는 넓은 인물 데이터에서 정체성 일반화를 확보하면서도, 복잡한 조명 캡처 데이터의 사용량을 줄이려는 구성이다. 공식 설명에 따르면 학습된 모델은 보지 못한 인물에도 맞출 수 있으며, 야외 환경의 단일 인물 사진처럼 입력이 제한된 경우에도 새 시점 합성과 재조명용 아바타를 만드는 활용을 목표로 한다. DisneyResearch|Studios는 이 연구를 CVPR 2026 항목으로 공개했다.

Maru