Introducing GWM Worlds 2, a Playable World Model | Runway

Runwayが公開した研究プレビュー GWM Worlds 2は、探索中の入力に合わせて720p・毎秒24フレームの映像と48kHzの音響を連続生成するインタラクティブなワールドモデルだ。固定長のクリップを再生するのではなく、ユーザーが新たな入力を与えるたびに、世界が次の状態へとつながっていく。環境や登場主体、ビジュアルスタイル、物理法則、周囲の音まで設定したうえで、テキストによる行動指示と連続的

Runwayが公開した研究プレビュー GWM Worlds 2は、探索中の入力に合わせて720p・毎秒24フレームの映像と48kHzの音響を連続生成するインタラクティブなワールドモデルだ。固定長のクリップを再生するのではなく、ユーザーが新たな入力を与えるたびに、世界が次の状態へとつながっていく。環境や登場主体、ビジュアルスタイル、物理法則、周囲の音まで設定したうえで、テキストによる行動指示と連続的なカメラ移動によってシーンを操作できる。

公開ページのライブデモでは、一人称視点の砂漠世界で、生存者が槍を突き、水筒の水を飲んだ後に走り出す流れが示されている。同じ空間を監督の視点で扱うシーンでは、焚き火と天候にそれぞれプロンプトを送り、炎を大きくしたり、夕焼けを星の見える夜へと変えたりする。プレイヤーの行動とシーン演出を同時に入力する構成も紹介された。

中核となる入力形式 WorldPromptは、長く維持される世界の文脈と、時間情報が付加されたイベントストリームに分かれている。前者にはシーン・主体・重力や衝突などのルール・最初のフレームが、後者には移動・身振り・物体との相互作用・セリフ・音、そしてフレームごとのカメラ入力が含まれる。Runwayは、リアルタイム生成ではカメラを速く動かすと質感やジオメトリが揺らぐ可能性があり、長期的な一貫性もまだ完全ではないと説明している。

原文映像: https://www.youtube.com/watch?v=pmjyB-lc4KQ