MetaHuman 5.6, 웹캠과 스마트폰으로 실시간 얼굴 애니메이션 생성

Epic Games의 MetaHuman 5.6은 MetaHuman Animator에 일반 웹캠과 다수의 스마트폰을 활용한 실시간 얼굴 애니메이션 기능을 추가했다. 음성만으로 구동하는 실시간 애니메이션도 지원해 캡처 장비 구성의 선택지를 넓혔다.

MetaHuman 5.6은 고품질 디지털 휴먼 애니메이션을 만들 때 필요한 촬영 장비의 문턱을 낮추는 업데이트다. MetaHuman Animator는 이제 대부분의 웹캠과 여러 스마트폰을 포함해 Unreal Engine Live Link와 연동되는 모노 카메라로 배우의 표정을 실시간 처리할 수 있다. 기존에는 스테레오 헤드 마운트 카메라와 iPhone 중심이던 방식에서 선택지가 넓어졌다.

카메라 한 대로 시작하는 실시간 캡처

이 기능은 촬영 영상을 나중에 계산하는 오프라인 처리와 달리, 연기와 디지털 캐릭터의 반응을 현장에서 바로 확인하는 데 초점을 둔다. 라이브 공연이나 프리비주얼 작업에서는 빠른 피드백이 장점이지만, 카메라·조명·연기 조건에 따라 결과를 조정해야 하는 작업에는 기존의 오프라인 처리도 여전히 유효하다.

음성만으로 만드는 표정 연기

MetaHuman Animator의 실시간 오디오 기반 애니메이션은 카메라 영상 없이도 음성으로 얼굴 연기를 생성한다. 시스템은 화자의 감정을 반영하고, 필요하면 감정 값을 수동으로 조절할 수 있으며, 머리 움직임도 더해 기본 결과의 자연스러움을 높인다. 즉, 얼굴 촬영이 가능한 환경에는 카메라 기반 방식을, 음성 중심의 라이브 작업에는 오디오 기반 방식을 선택하는 구성이 가능해진다.

제작 파이프라인의 변화

MetaHuman Creator, MetaHuman Animator, Mesh to MetaHuman이 하나의 Unreal Engine 환경에 통합되면서 캐릭터 제작과 성능 캡처를 같은 프로젝트 안에서 이어갈 수 있게 됐다. MetaHuman은 다른 엔진이나 크리에이티브 소프트웨어에서도 사용할 수 있도록 라이선스 범위도 확장됐다. 다만 실시간성이 모든 후반작업을 대체하는 것은 아니며, 최종 샷에 필요한 정밀도와 검수 방식에 맞춰 실시간·오프라인 워크플로를 나누는 것이 핵심이다.

출처: 80 Level, MetaHuman 공식 발표