드럼 소리만으로 정밀한 3D 드러머 모션 생성
오디오만으로 자연스럽고 정확한 드럼 연주 동작을 생성하는 확산 모델 연구다. 신체 골격의 자연스러움과 드럼스틱의 타격 정밀도를 분리해 학습하고, 실제 환경의 다양한 오디오에도 일반화하는 것을 목표로 한다.
음악 기반 캐릭터 애니메이션에서 드럼 연주는 특히 까다로운 과제다. 연주 동작은 빠른 가속을 자연스럽게 보이게 해야 하는 동시에, 드럼스틱이 올바른 시간에 정확한 타격 지점에 닿아야 한다. 기존 방식은 모션 매칭이나 MIDI 입력에 의존하는 경우가 많아, 다양한 실제 오디오에 대응하는 데 한계가 있었다.
이 논문은 오디오로부터 드러머의 움직임을 합성하는 생성형 확산 프레임워크를 제안한다. 핵심은 이중 목적 손실 함수다. 이를 통해 인체 골격의 일관성과 자연스러운 전신 동작을 유지하면서도, 드럼스틱의 위치를 센티미터 수준으로 정밀하게 제어하도록 설계했다.
연구진은 자체 데이터셋과 데이터 증강 전략을 활용해 선별되지 않은 실제 환경의 오디오로도 모델이 일반화하도록 했다. 평가를 위해 타격 지점까지의 거리를 측정하는 지표와 오디오-동작의 시간적 정렬을 평가하는 지표도 새로 제안했으며, 정량 분석과 사용자 연구를 통해 생성 동작의 품질을 검증했다.
저자는 Álvaro G. Iñesta, Mattia Ryffel, Amit H. Bermano, Robert W. Sumner, Martin Guay이며, DisneyResearch|Studios가 2026년 8월 18일 연구를 공개했다. 논문은 2026년 ACM SIGGRAPH/Eurographics Symposium on Computer Animation(SCA) 프로그램에도 포함됐다.