Generalized Audio-Driven Synthesis of Precise Drummer Motion

音楽ベースのキャラクターアニメーションにおいて、ドラム演奏は特に難しい課題だ。演奏動作は速い加速を自然に見せる必要がある一方で、ドラムスティックが正しいタイミングで正確な打点に到達しなければならない。従来の手法はモーションマッチングやMIDI入力に依存することが多く、さまざまな実際の音声に対応するには限界があった。 · この論文では、音声からドラマーの動きを合成する生成拡散フレームワークを提案して

音楽ベースのキャラクターアニメーションにおいて、ドラム演奏は特に難しい課題だ。演奏動作は速い加速を自然に見せる必要がある一方で、ドラムスティックが正しいタイミングで正確な打点に到達しなければならない。従来の手法はモーションマッチングやMIDI入力に依存することが多く、さまざまな実際の音声に対応するには限界があった。

この論文では、音声からドラマーの動きを合成する生成拡散フレームワークを提案している。中核となるのは二重目的の損失関数だ。これにより、人体骨格の一貫性と自然な全身動作を維持しながら、ドラムスティックの位置をセンチメートル単位で精密に制御できるよう設計されている。

研究チームは独自のデータセットとデータ拡張戦略を活用し、選別されていない実環境の音声に対してもモデルが汎化するようにした。評価のため、打点までの距離を測定する指標と、音声と動作の時間的な整合性を評価する指標も新たに提案し、定量分析とユーザー調査を通じて生成動作の品質を検証した。

著者はÁlvaro G. Iñesta、Mattia Ryffel、Amit H. Bermano、Robert W. Sumner、Martin Guayで、DisneyResearch|Studiosが2026年8月18日に研究を公開した。論文は、2026年ACM SIGGRAPH/Eurographics Symposium on Computer Animation（SCA）のプログラムにも含まれている。

オリジナル出典: https://www.youtube.com/watch?v=SdHuGxSxNgA