OmniHuman-1 — 1枚の写真を歌って話すフルビデオに
開発元 ByteDance (TikTokの親会社) モダリティ Single image + audio → lip-synced video with gesture 状態 Research-stage (公開製品なし) プロジェクトページ omnihuman-lab.github.io · ホットデモ 静止画1枚(アインシュタイン)+音声トラック → 自然な口の動きの同期 + 手振り + 表
開発元 ByteDance (TikTokの親会社)
モダリティ Single image + audio → lip-synced video with gesture
状態 Research-stage (公開製品なし)
プロジェクトページ omnihuman-lab.github.io
ホットデモ
静止画1枚(アインシュタイン)+音声トラック → 自然な口の動きの同期 + 手振り + 表情変化によるフルビデオ。映画のリップシンク級の整合度 + 1枚のデータから動きを推定。
技術的特異点
- マルチモーダル入力 — text/audio/video referenceの任意の組み合わせをdriverとして使用
- 単一画像source — 動画ではなく1枚の写真から動的キャラクターを合成
- lip-syncの整合度 — 表情・顎の動き・音素の一致が映画の吹き替えレベル
リスク
- 政治家のfake speech / 故人を蘇らせる動画 / 同意のないデモ。ByteDanceが意図的に公開APIを提供していない理由。
あらすじ
1'はByteDanceが開発したAIビデオ生成モデルで、単一の画像をリアルな人間のビデオに変換する技術を扱っています。これは技術(AI/ソフトウェア)の紹介、デモ、説明などを含む情報性の高い業界動向または技術メタコンテンツに該当します。映画、ドラマ、アニメーションなど、物語のある作品のあらすじ(主人公、対立、世界観)を説明する動画ではありません。したがって、出力は正確に「NONE」でなければなりません。