FastGHA: Generalized Few-Shot 3D Gaussian Head Avatars with Real-Time Animation

FastGHAは、異なる視点や表情で撮影された少数の人物写真を入力として、動かすことのできる3Dヘッドアバターを構築する研究だ。従来の手法では、大規模な多視点撮影設備を使用したり、人物ごとに個別の最適化処理を行ったりすることが多かった。この研究では、初めて見る人物にも適用できるよう、入力画像から直接アバターを推論するフィードフォワード構造を提案している。 · 核心となるのは、画像の各ピクセルについ

FastGHAは、異なる視点や表情で撮影された少数の人物写真を入力として、動かすことのできる3Dヘッドアバターを構築する研究だ。従来の手法では、大規模な多視点撮影設備を使用したり、人物ごとに個別の最適化処理を行ったりすることが多かった。この研究では、初めて見る人物にも適用できるよう、入力画像から直接アバターを推論するフィードフォワード構造を提案している。

核心となるのは、画像の各ピクセルについて3Dガウス表現を学習し、複数視点の情報をトランスフォーマーベースのエンコーダーで統合することだ。研究チームはDINOv3とStable Diffusion VAEから得られる画像特徴を併用し、事前学習済みの大規模再構成モデルのポイントマップを幾何構造の教師信号として活用することで、頭部形状の滑らかさを高めた。

アニメーションの段階では、まずニュートラル状態の正準ガウスヘッドを再構成し、その後、軽量なMLP動的ネットワークが表情コードに応じて各ガウスの3D変形を予測する。これにより、入力写真に写っていた表情とアバターの動きを分離して扱い、精細な外観の再現とリアルタイムの表情アニメーションを同時に目指している。FastGHAはICLR 2026で発表された。