光学フロー推定のための効率的な全ペア相関ボリュームサンプリング

2つの映像フレーム間の画素の動きを推定する光学フローは、フレーム補間、動画圧縮、インペインティングなど、さまざまな映像処理タスクの基盤となる。この論文は、RAFT系列が用いる全ペア相関ボリュームのサンプリングに着目している。従来の手法では、すべての画素の組み合わせの値を事前に計算するとメモリ使用量が急増し、必要な値をその都度計算すると実行速度が低下するという問題があった。 · Karlis Mar

2つの映像フレーム間の画素の動きを推定する光学フローは、フレーム補間、動画圧縮、インペインティングなど、さまざまな映像処理タスクの基盤となる。この論文は、RAFT系列が用いる全ペア相関ボリュームのサンプリングに着目している。従来の手法では、すべての画素の組み合わせの値を事前に計算するとメモリ使用量が急増し、必要な値をその都度計算すると実行速度が低下するという問題があった。

Karlis Martins Briedis、Markus Gross、Christopher Schroersは、実際のサンプリング過程ではボリューム全体ではなく、小さく規則的な一部だけが参照される点を分析した。これに基づき、必要なブロックだけを計算する部分ブロック疎相関ボリュームと、パッチ中心のメモリ配置を提案した。論文では、この手法がRAFTで定義された正確な数学的演算をそのまま維持すると説明している。

評価では、提案手法はオンデマンドサンプリングと比べ、同じ低メモリ使用量で最大92%高い性能を示し、ベースライン実装と比べて最大99%低いメモリ使用量を実現した。高解像度入力では推論全体の時間を最大63%削減でき、研究チームはBLENDER映画CHARGEを基に作成した8KデータセットとSEA-RAFTの推論段階の拡張を用いて、高解像度における精度・実行時間の性能を検証した。