소니, 미래 PlayStation 프레임을 예측하는 AI 프레임 생성 특허 출원

소니 인터랙티브 엔터테인먼트가 비디오 게임에서 프레임 생성 기술의 주요 단점인 입력 지연을 줄이기 위한 프레임 생성 방식에 대한 특허를 취득했다. "Generation Super Sampling"이라는 제목의 이 문서는 2026년 10월 15일에 공개됐으며, 게임 엔진이 렌더링하기 전에 AI로 이미지 프레임을 예측하는 방식을 설명하고 있다.

NVIDIA DLSS와 AMD FSR 같은 기존 프레임 생성 기술은 그래픽카드가 이미 만들어 낸 두 프레임 사이에 AI가 만든 프레임을 끼워 넣는다. 시스템이 두 번째 실제 프레임을 기다려야 하므로 화면상의 프레임 속도가 높아져도 게임이 플레이어의 조작에 더 빨리 반응하는 것은 아니다. NVIDIA Reflex 같은 도구는 지연을 줄여주지만 완전히 없애지는 못한다.

인코더, 디코더와 컨트롤러 입력

반면 소니의 방식은 이전 프레임을 분석해 다음 프레임을 예측하므로 다음 실제 프레임을 기다릴 필요가 없다. 이 방식은 두 개의 신경망에 의존한다. 하나는 엔진의 출력을 장면을 나타내는 압축된 표현으로 줄이는 인코더이고, 다른 하나는 그 표현을 이용해 예측 프레임을 만드는 디코더이다.

특허에 따르면 모션 벡터와 컨트롤러 명령도 예측에 활용될 수 있다. 예를 들어 플레이어가 점프 버튼을 누르면, 시스템은 이 입력을 고려해 캐릭터의 다음 애니메이션 프레임을 예상할 수 있다. 출원서에 따르면 관련 입력은 15밀리초 이내이거나 2초 미만 이전에 이루어진 것일 수 있다. 학습 과정에서는 예측 프레임을 실제 프레임과 비교하고, 그 차이에 따라 신경망의 매개변수를 조정한다.

출원서는 또한 여러 개의 미래 프레임을 생성해 엔진이 다음 실제 프레임을 완료하기 전에 표시하는 방안도 다룬다. 아울러 모션 벡터와 이전에 렌더링된 프레임으로 합성 프레임을 만드는, 신경망을 사용하지 않는 대안인 '알고리즘 프레임 생성(Algorithmic Frame Generation)'도 제시한다.

남은 의문

이 아이디어는 스트리트 파이터 6 같은 대전 게임에서 쓰이는 롤백 넷코드와 비슷하다. 롤백 넷코드는 플레이어의 다음 동작을 추측하고 필요할 때 게임 상태를 바로잡는다. 다만 예측이 빗나가면 빠른 움직임이나 갑작스러운 카메라 전환이 있는 슈팅 및 액션 게임에서 시각적 아티팩트가 생길 수 있다.

이 특허에는 실제 게임에서 측정한 지연 시간이나 화질 결과가 포함되어 있지 않으며, 현재 시스템에 없는 특수 하드웨어도 명시하지 않는다. 따라서 이 기술이 PlayStation 5나 PlayStation 5 Pro에 적용될 것이라고 확인되지는 않는다. 소니는 어떤 콘솔이 이 기술을 사용할 수 있는지, 언제 적용될지, 또는 상용 기능이 될지조차 밝히지 않았다.