Solarisの紹介：Runway初のインターフェース・ワールド・モデル | Runway

RunwayのSolarisは、画面をあらかじめ作り込んだページの集合として扱うものではない。ユーザーがクリックやドラッグをしたり、文章を入力したりするたびに次のフレームを生成し、視覚的な場面とその中での反応を同時に連続させる「インターフェース・ワールド・モデル」として紹介された。同社はこれにより、アプリやウェブサイトの画面を固定された実装ではなく、リアルタイムで変化するインタラクティブな環境にで

公開された事例では、メニューを選ぶ方式よりも、場面の中にある対象へ直接作用する方法が示されている。仮想の衣料品店では、ユーザーがシャツを手に取り、自分の姿の上へ移動させて試着できる。家具のある空間では、テーブルを動かしたり、ソファの色を変えたりするよう指示できる。サラダを作る場面では、材料をボウルへドラッグ＆ドロップする操作が次の状態を生み出す。Solarisは、こうした入力を次のフレームの条件として利用する。

技術的には、SolarisはRunwayのGen-4.5動画生成モデルを基盤とし、インタラクションの理解とリアルタイム応答に合わせて調整されている。Runwayは、フレームを順番に生成する自己回帰方式、複数段階の拡散プロセスを少ないステップに圧縮する蒸留、長時間のインタラクションで品質を維持するための独自の出力学習を組み合わせたと明らかにした。言語モデルはユーザーのリクエストを解釈して場面の変化の方向を決め、Solarisはその結果を視覚的にレンダリングする役割を担う。

ただし現時点での強みは、周囲の持続的な動き、クリック・ドラッグ、場面転換にあり、安定して読みやすいテキスト生成、長時間のセッションにおける視覚的・意味的な一貫性、アクセシビリティ技術や既存のソフトウェアスタックとの統合は今後の課題として挙げられている。Runwayはパートナーとの公開リリースを準備中で、アーリーアクセスの申請を受け付けている。

原文動画: https://www.youtube.com/watch?v=c2yCePPnrSA