실시간 3D 조명 편집을 위한 뉴럴 렌더링

DisneyResearch|Studios가 공개한 연구로, 고정된 카메라와 재질의 정적 장면을 인터랙티브한 속도로 재조명하기 위한 신경 렌더 프록시를 제안한다. 경로 샘플링과 방출 계산을 분리해 이미지 기반 조명 편집과 역조명 작업을 빠르게 처리하는 것이 핵심이다.

애니메이션 제작의 조명 작업에서는 작은 수정도 전역 조명과 복잡한 셰이더를 다시 계산해야 하므로, 한 프레임을 다시 렌더링하는 데 수분에서 수시간이 걸릴 수 있다. Neural Render Proxies for Interactive and Differentiable Lighting은 이러한 반복 시간을 줄이기 위해, 고정된 카메라와 재질을 지닌 정적 장면용 신경 렌더 프록시(NRP)를 제안한다.

방법의 출발점은 전통적인 렌더링을 경로 샘플링과 방출 계산으로 나누는 것이다. 조명 조건에 의존하지 않는 한 번의 렌더 패스에서 빛의 전달 경로 샘플을 수집한 뒤, 장면별 경량 신경망이 장면의 위치에서 각 이미지 픽셀까지 빛이 전달되는 방식을 학습한다. 이후에는 조명 조건을 빠르게 바꾸어가며 결과를 평가할 수 있다.

연구진은 이 방식이 비미분 가능 프로덕션 렌더러와도 호환되며, 추론 단계의 메모리 요구량을 작게 유지한다고 설명한다. 계산 비용은 장면이나 외형의 복잡도보다 해상도, 광원 수, 조명 매개변수 수에 따라 증가한다. 평가에서는 지상 진실 경로 추적과 가까운 화질을 유지하면서 약 30~60Hz의 재조명을 시연했으며, 이미지 공간 편집이나 생성형 목표 이미지에서 조명 매개변수를 찾는 그래디언트 기반 역작업에도 활용할 수 있다.

논문은 2026년 Eurographics Symposium on Rendering(EGSR)에 발표됐으며, Sergio Sancho, Alexander Rath, Marco Manzi, Pascal Chang, Amit H. Bermano, Derek Nowrouzezahrai, Markus Gross, Marios Papas가 저자로 참여했다.

Maru