Sony запатентувала ШІ-генерацію кадрів, що передбачає майбутні кадри PlayStation

Sony Interactive Entertainment отримала патент на метод генерації кадрів, покликаний зменшити затримку введення, що є одним із головних недоліків цієї технології у відеоіграх. Документ під назвою «Generation Super Sampling», опублікований 15 жовтня 2026 року, описує використання ШІ для передбачення кадрів зображення до того, як ігровий рушій їх відрендерить.

Наявні підходи, як-от генерація кадрів NVIDIA DLSS та AMD FSR, вставляють створені ШІ кадри між двома кадрами, які відеокарта вже виготовила. Оскільки системі доводиться чекати на другий реальний кадр, вища частота кадрів на екрані не означає, що гра реагує на гравця швидше. Такі інструменти, як NVIDIA Reflex, зменшують затримку, але повністю усунути її не можуть.

Енкодер, декодер і введення з контролера

Натомість метод Sony аналізує попередні кадри, щоб передбачити наступний, тож не потрібно чекати на наступний реальний кадр. Він спирається на дві нейронні мережі: енкодер, який стискає вихідні дані рушія у компактне представлення сцени, та декодер, який використовує це представлення для побудови передбаченого кадру.

У патенті зазначено, що для прогнозу можна також використовувати вектори руху та команди контролера. Наприклад, якщо гравець натискає кнопку стрибка, система може врахувати це введення, щоб передбачити наступні анімаційні кадри персонажа. Як зазначено в заявці, релевантні введення можуть бути зроблені у вікні 15 мілісекунд або менше чи за менш ніж дві секунди до цього. Під час навчання передбачені кадри порівнюють з реальними, а параметри мережі коригують залежно від різниці.

Заявка також охоплює генерацію кількох майбутніх кадрів і їх показ до того, як рушій завершить наступний реальний кадр. Крім того, вона окреслює альтернативу без нейронних мереж, яка називається Algorithmic Frame Generation і створює синтетичні кадри на основі векторів руху та раніше відрендерених кадрів.

Відкриті питання

Ідея нагадує rollback netcode, яким користуються в файтингах на кшталт Street Fighter 6: там система вгадує наступні дії гравців і за потреби коригує стан гри. Однак помилкові припущення можуть спричинити візуальні артефакти в динамічних шутерах та екшенах зі швидким рухом або різкими змінами камери.

Патент не містить виміряних результатів затримки чи якості зображення в реальних іграх і не перелічує спеціального обладнання, відсутнього в сучасних системах. Це не підтверджує, що технологія з'явиться на PlayStation 5 чи PlayStation 5 Pro. Sony не повідомила, які консолі можуть її використовувати, коли це станеться або чи стане вона взагалі комерційною функцією.