Sony запатентовала ИИ-генерацию кадров, которая предсказывает будущие кадры PlayStation

Sony Interactive Entertainment получила патент на метод генерации кадров, призванный уменьшить задержку ввода — один из главных недостатков этой технологии в видеоиграх. Документ под названием «Generation Super Sampling» опубликован 15 октября 2026 года. В нём описано использование ИИ для предсказания изображений до того, как игровой движок их отрисует.

Существующие решения, такие как генерация кадров NVIDIA DLSS и AMD FSR, вставляют созданные ИИ кадры между двумя кадрами, которые видеокарта уже выдала. Поскольку системе приходится ждать второй настоящий кадр, более высокая частота кадров на экране не означает, что игра быстрее реагирует на действия игрока. Такие инструменты, как NVIDIA Reflex, сокращают задержку, но полностью устранить её не могут.

Энкодер, декодер и ввод с геймпада

Метод Sony вместо этого анализирует предыдущие кадры, чтобы спрогнозировать следующий, поэтому не нужно ждать следующего настоящего кадра. Он опирается на две нейросети: энкодер, который сжимает результат работы движка в компактное представление сцены, и декодер, который использует это представление для построения предсказанного кадра.

В патенте говорится, что на прогноз также могут влиять векторы движения и команды с геймпада. Например, если игрок нажимает прыжок, система может учесть этот ввод, чтобы предугадать следующие кадры анимации персонажа. Согласно заявке, значимые действия могли быть совершены в окне 15 миллисекунд или менее либо за две секунды до текущего момента. В ходе обучения предсказанные кадры сравниваются с реальными, и параметры сети корректируются в зависимости от разницы.

Заявка также охватывает генерацию нескольких будущих кадров и их вывод на экран до того, как движок завершит следующий настоящий кадр. Кроме того, в ней описана ненейросетевая альтернатива под названием Algorithmic Frame Generation, которая строит синтетические кадры на основе векторов движения и ранее отрисованных кадров.

Открытые вопросы

Идея напоминает откат (rollback netcode), используемый в файтингах вроде Street Fighter 6: игра угадывает следующие действия игроков и при необходимости исправляет состояние игры. Однако ошибочные догадки могут вызывать визуальные артефакты в динамичных шутерах и экшен-играх с быстрым движением или резкими сменами камеры.

В патенте нет измеренных результатов задержки или качества изображения в реальных играх, а также не указано никакого специального оборудования, отсутствующего в современных системах. Это не подтверждает, что технология появится в PlayStation 5 или PlayStation 5 Pro. Sony не сообщала, какие консоли могут её использовать, когда это произойдёт и станет ли она вообще коммерческой функцией.