Runway、AI動画生成をリアルタイムで操作できるライブストリームに変えようとする

Runwayが公開したリアルタイム動画生成研究の核心は、結果をすべてレンダリングしてから受け取る流れを、生成中のフレームをすぐに表示するストリーミング方式へと変えることにある。制作中の待ち時間を減らし、修正の判断をより早く行える点が変化の理由だが、今回の発表は一般ユーザー向けの新モデル発売告知ではなく、技術の方向性と開発課題を説明した資料だ。 · 現在の方式と何が違うのか · 従来の動画生成は、プ

Runwayが公開したリアルタイム動画生成研究の核心は、結果をすべてレンダリングしてから受け取る流れを、生成中のフレームをすぐに表示するストリーミング方式へと変えることにある。制作中の待ち時間を減らし、修正の判断をより早く行える点が変化の理由だが、今回の発表は一般ユーザー向けの新モデル発売告知ではなく、技術の方向性と開発課題を説明した資料だ。

現在の方式と何が違うのか

従来の動画生成は、プロンプトと入力画像を送信した後、数秒または数分待ち、完成したクリップが意図と異なれば再生成する方式に近い。Runwayが提示する方式では、開始時に最初のフレームとキャプションを決めた後、フレームを順番に生成しながら動画と音声を出力する。そのため実務上の判断ポイントも、「完成後に再試行する」ことから「生成中に方向性を確認する」ことへ移行する可能性がある。

速度には品質維持という代償が伴う

リアルタイム再生には、各フレームを再生速度に追いつく速さで生成しなければならず、前のフレームの小さなエラーが次のフレームで拡大してはならない。Runwayは、基盤モデルを時間的に因果的な自己回帰生成器へ転換し、より高速なモデルへ蒸留するアプローチを説明した。特に、モデルが自ら生成した文脈を学習に反映させることで、シーンが長くなるほど生じうる形状の崩壊や品質低下を抑えようとしている。

利用可能性は分けて考える必要がある

RunwayはすでにGWM-1を基盤とするRunway Charactersを通じて、対話型キャラクターのようなリアルタイム機能を提供している。一方、今回の記事で扱った汎用リアルタイム動画モデルは、今後数か月以内により強力なモデルを準備中だと説明された研究段階にある。つまり、現在のインタラクティブ機能と将来のストリーミング動画生成モデルを、同じ発売状況にあるとみなさないことが正確だ。

出典: Runway公式資料