Sony patenteert AI-framegeneratie die toekomstige PlayStation-frames voorspelt

Sony Interactive Entertainment heeft een octrooi gekregen voor een methode voor framegeneratie die de inputvertraging moet verminderen, een van de belangrijkste nadelen van deze techniek in videogames. Het document, getiteld "Generation Super Sampling" en gepubliceerd op 15 oktober 2026, beschrijft hoe AI beeldframes voorspelt voordat de gameengine ze heeft gerenderd.

Bestaande technieken zoals framegeneratie van NVIDIA DLSS en AMD FSR voegen door AI gemaakte frames in tussen twee frames die de videokaart al heeft geproduceerd. Omdat het systeem moet wachten op het tweede echte frame, betekent een hogere framesnelheid op het scherm niet dat de game sneller op de speler reageert. Tools zoals NVIDIA Reflex verminderen de vertraging, maar kunnen die niet volledig wegnemen.

Encoder, decoder en controllerinput

De methode van Sony analyseert in plaats daarvan eerdere frames om het volgende te voorspellen, zodat er niet gewacht hoeft te worden op het volgende echte frame. Ze maakt gebruik van twee neurale netwerken: een encoder die de output van de engine samendrukt tot een compacte weergave van de scène, en een decoder die die weergave gebruikt om het voorspelde frame op te bouwen.

Het octrooi stelt dat bewegingsvectoren en controllercommando's de voorspelling ook kunnen voeden. Als een speler bijvoorbeeld op springen drukt, kan het systeem die input meenemen om de volgende animatieframes van het personage te anticiperen. Relevante inputs kunnen volgens de aanvraag zijn gedaan binnen een venster van 15 milliseconden of minder, of minder dan twee seconden eerder. Tijdens de training worden voorspelde frames vergeleken met echte frames en worden de parameters van het netwerk aangepast op basis van het verschil.

De aanvraag beschrijft ook het genereren van meerdere toekomstige frames en het tonen daarvan voordat de engine het volgende echte frame heeft afgerond. Daarnaast schetst het document een niet-neuraal alternatief, Algorithmic Frame Generation genoemd, dat synthetische frames bouwt uit bewegingsvectoren en eerder gerenderde frames.

Openstaande vragen

Het idee lijkt op rollback-netcode die wordt gebruikt in vechtgames zoals Street Fighter 6, die de volgende zet van spelers raadt en de spelstatus waar nodig corrigeert. Foute gissingen kunnen echter visuele artefacten veroorzaken in snelle shooters en actiegames met snelle beweging of plotselinge camerawisselingen.

Het octrooi bevat geen gemeten vertragings- of beeldkwaliteitsresultaten uit echte games, en noemt geen speciale hardware die ontbreekt in huidige systemen. Dat bevestigt niet dat de techniek naar PlayStation 5 of PlayStation 5 Pro komt. Sony heeft niet gezegd welke consoles het zouden kunnen gebruiken, wanneer, of of het ooit een commerciële functie wordt.