ソニー、PlayStationの将来のフレームを予測するAIフレーム生成の特許を出願

ソニー・インタラクティブエンタテインメントは、ビデオゲームにおけるこの技術の主な欠点の一つである入力遅延を減らすためのフレーム生成手法について特許を取得した。「Generation Super Sampling」と題され、2026年10月15日に公開された文書では、ゲームエンジンが描画する前に、AIで画像フレームを予測する方法が説明されている。

NVIDIAのDLSSやAMDのFSRフレーム生成などの既存の手法は、グラフィックスカードがすでに生成した2つのフレームの間に、AIが作成したフレームを挿入する。システムは2枚目の実フレームを待たなければならないため、画面上のフレームレートが高くなっても、プレイヤーの操作へのゲームの反応が速くなるわけではない。NVIDIA Reflexのようなツールは遅延を減らすが、完全に取り除くことはできない。

エンコーダー、デコーダー、コントローラー入力

一方、ソニーの手法は過去のフレームを分析して次のフレームを予測するため、次の実フレームを待つ必要がない。この手法は2つのニューラルネットワークに依存している。1つはエンジンの出力をシーンのコンパクトな表現に圧縮するエンコーダー、もう1つはその表現を使って予測フレームを生成するデコーダーである。

特許では、モーションベクトルとコントローラーのコマンドも予測に利用できると述べられている。例えば、プレイヤーがジャンプボタンを押した場合、システムはその入力を考慮して、キャラクターの次のアニメーションフレームを予測できる。出願書類によると、関連する入力は15ミリ秒以内、または2秒より前に行われたものが対象となる可能性がある。学習中は、予測フレームと実フレームを比較し、その差に基づいてネットワークのパラメーターが調整される。

この出願では、エンジンが次の実フレームを描画し終える前に、複数の将来フレームを生成して表示する方法も扱っている。さらに、モーションベクトルと既に描画されたフレームから合成フレームを作成する、ニューラルネットワークを使わない代替手法「Algorithmic Frame Generation」についても概説されている。

未解決の課題

このアイデアは、『ストリートファイター6』などの対戦格闘ゲームで使われているロールバック・ネットコードに似ている。ロールバック・ネットコードは、プレイヤーの次の行動を推測し、必要に応じてゲーム状態を修正する。ただし、推測が外れると、動きの速いシューティングゲームや、急速な動きや突然のカメラ切り替えがあるアクションゲームで、映像上のアーティファクトが生じる可能性がある。

特許には、実際のゲームで測定された遅延や画質の結果は含まれておらず、現行のシステムにはない特別なハードウェアも記載されていない。そのため、この技術がPlayStation 5やPlayStation 5 Proに搭載されることが確認されたわけではない。ソニーは、どのコンソールでこの技術を使う可能性があるか、いつ使われるか、そもそも商用機能になるかどうかについても明らかにしていない。