CANRIG: 가변 로컬 제어 교차 어텐션 얼굴 리깅
CANRig는 얼굴 메시의 제어 핸들과 정점 사이의 크로스 어텐션을 활용해, 애니메이터가 원하는 범위만 연속적으로 조정할 수 있게 하는 자동화 신경망 얼굴 리깅 기법이다. 기존 편집을 보존하는 워크플로와 함께 애니메이션 및 고해상도 VFX 제작 사례를 제시한다.
얼굴 리깅은 캐릭터의 표정과 발화를 만들기 위한 핵심 공정이지만, 전통적인 방식에서는 많은 제어 장치와 숙련된 수작업이 필요하다. CANRig는 이 과정을 자동화한 신경망 기반 얼굴 리깅 연구로, 얼굴 메시 위의 제어 핸들을 움직여 표정을 만들고 수정하는 과정을 다룬다.
핵심은 제어 핸들과 메시 정점 사이의 크로스 어텐션이다. 사용자는 핸들이 영향을 미칠 얼굴 영역을 직접 지정해 눈꺼풀이나 입꼬리처럼 좁은 부위를 정밀하게 다루거나, 더 넓은 범위의 변형으로 전환할 수 있다. 고정된 영역을 미리 나누거나 수동으로 가중치를 칠하는 방식에 의존하지 않는 것이 특징이다.
논문은 이 편집 과정을 단계적으로 이어 갈 수 있도록 이전 형태를 보존하는 워크플로도 제안한다. 이 구조는 제어 범위를 바꾸는 동안 앞선 수정이 갑자기 달라지지 않도록 설계됐으며, 이마와 입 주변을 넓게 다듬은 뒤 눈꺼풀과 입꼬리를 더 세밀하게 조정하는 사례가 소개된다.
연구진은 빠른 포즈 제작, 캡처·애니메이션 클립의 프레임 편집, 표정 전송 등 애니메이션과 고해상도 시각효과 파이프라인의 활용 사례를 제시했다. 저자는 ETH Zurich와 DisneyResearch|Studios 소속의 Arad Mohammadi, Sebastian Weiss, Jakob Buhmann, Loic Ciccone, Robert Sumner, Derek Bradley, Martin Guay다.