Sony patentiert KI-Frame-Generierung, die künftige PlayStation-Bilder vorhersagt

Sony Interactive Entertainment hat ein Patent für ein Verfahren zur Bildgenerierung erhalten, das die Eingabeverzögerung verringern soll. Diese gilt als einer der Hauptnachteile der Technik in Videospielen. Das Dokument mit dem Titel „Generation Super Sampling“ wurde am 15. Oktober 2026 veröffentlicht und beschreibt, wie KI Bilder vorhersagt, bevor die Spiele-Engine sie berechnet hat.

Bestehende Ansätze wie die Frame-Generierung von NVIDIA DLSS und AMD FSR fügen KI-erzeugte Bilder zwischen zwei Bildern ein, die die Grafikkarte bereits berechnet hat. Da das System auf das zweite echte Bild warten muss, bedeutet eine höhere Bildrate auf dem Bildschirm nicht, dass das Spiel schneller auf den Spieler reagiert. Werkzeuge wie NVIDIA Reflex verringern die Verzögerung, können sie aber nicht vollständig beseitigen.

Encoder, Decoder und Controller-Eingaben

Sonys Methode analysiert stattdessen vorherige Bilder, um das nächste vorherzusagen, sodass nicht auf das folgende echte Bild gewartet werden muss. Sie stützt sich auf zwei neuronale Netze: einen Encoder, der die Ausgabe der Engine zu einer kompakten Darstellung der Szene verdichtet, und einen Decoder, der diese Darstellung nutzt, um das vorhergesagte Bild zu erzeugen.

Laut Patent können auch bewegungsvektoren und Controller-Befehle in die Vorhersage einfließen. Drückt ein Spieler etwa die Sprungtaste, kann das System diese Eingabe berücksichtigen, um die nächsten Animationsbilder der Figur vorauszuahnen. Laut der Anmeldung können relevante Eingaben innerhalb eines Zeitfensters von 15 Millisekunden oder weniger erfolgt sein oder bis zu weniger als zwei Sekunden zurückliegen. Während des Trainings werden vorhergesagte Bilder mit echten verglichen, und die Parameter des Netzes werden anhand der Abweichung angepasst.

Die Anmeldung umfasst zudem die Erzeugung mehrerer künftiger Bilder, die angezeigt werden, bevor die Engine das nächste echte Bild fertigstellt. Außerdem beschreibt sie eine nicht neuronale Alternative namens Algorithmic Frame Generation, die synthetische Bilder aus Bewegungsvektoren und bereits gerenderten Bildern erstellt.

Offene Fragen

Die Idee ähnelt dem Rollback-Netcode, der in Kampfspielen wie Street Fighter 6 eingesetzt wird. Dort werden die nächsten Züge der Spieler geraten und der Spielzustand bei Bedarf korrigiert. Falsche Vorhersagen könnten jedoch in schnellen Shootern und Actionspielen mit raschen Bewegungen oder plötzlichen Kamerawechseln zu visuellen Artefakten führen.

Das Patent enthält weder gemessene Latenzwerte noch Ergebnisse zur Bildqualität aus echten Spielen, und es nennt keine besondere Hardware, die über aktuelle Systeme hinausgeht. Damit ist nicht bestätigt, dass die Technik auf PlayStation 5 oder PlayStation 5 Pro kommt. Sony hat nicht mitgeteilt, welche Konsolen sie nutzen könnten, wann das geschehen soll oder ob daraus überhaupt ein kommerzielles Feature wird.