Система на основе нейросетей должна сглаживать просадки FPS, не добавляя задержку, характерную для обычной генерации кадров.
Патентные войны — это отдельный вид спорта, где победа измеряется не медалями, а количеством поданных заявок. И вот Sony снова в игре: компания запатентовала систему на основе искусственного интеллекта, которая генерирует следующий кадр игры, пока графический процессор ещё занят его отрисовкой. Проще говоря, нейросеть пытается угадать будущее раньше, чем оно наступит. Звучит как научная фантастика, но в документе всё расписано вполне буднично.
Обычные технологии генерации кадров работают по принципу «взять два готовых изображения и вставить между ними промежуточное». Красиво, плавно, но есть нюанс: пока второй кадр не отрисуется, вставить между ними ничего нельзя. Отсюда и задержка между нажатием кнопки и реакцией игры, которую игроки старой закалки чувствуют пятой точкой. Sony предлагает иной подход: ИИ берёт последний готовый кадр и предсказывает, как будет выглядеть следующий, не дожидаясь его полной отрисовки.
Как это работает: кодировщик, декодировщик и немного магии
В основе системы лежит совместно обученная пара моделей — кодировщик и декодировщик. Первая преобразует готовый кадр в компактное числовое представление, а вторая на его основе восстанавливает предсказанное изображение. Чтобы предсказание было точнее, система учитывает векторы движения, описывающие перемещение объектов между кадрами, и последние действия игрока с контроллера. Эти данные помогают модели оценить не только то, что уже на экране, но и то, как сцена может измениться дальше.
Для обучения нейросеть получает последовательности видеокадров: по одному изображению пытается предсказать следующее, а затем сравнивает результат с реальным кадром и вычисляет ошибку. Патент предусматривает проверку этой ошибки относительно заданного порога. Размечать изображения вручную не потребуется — эталоном служат следующие кадры исходного видео. В документе также описан вариант, при котором декодировщик выдаёт больше цветовых каналов, чем получает кодировщик, что позволяет формировать несколько предсказанных кадров за один раз.
А если без нейросети?
Sony рассматривает и альтернативу без ИИ: алгоритм перемещал бы блоки пикселей в соответствии с их движением, создавая синтетические кадры на основе перемещения элементов изображения. В патенте заявлена возможность поддерживать стабильную частоту вывода кадров без снижения качества картинки, однако это пока лишь описание предполагаемых преимуществ. Главный вопрос — сможет ли система достаточно быстро и точно предсказывать изображение в динамичных сценах, особенно когда нагрузка на графический процессор резко возрастает.
Стоит подчеркнуть: пока речь идёт только о патенте. Sony не приводит результатов испытаний, поэтому реальная эффективность метода не подтверждена. Сам по себе патент не подтверждает, что технология уже работает в играх или появится в будущих консолях PlayStation. Впрочем, учитывая, что Sony Playstation 5 уже вовсю пользуется технологиями генерации кадров в связке с AMD, появление собственной разработки выглядит логичным шагом. Вопрос лишь в том, когда и в каком виде это доберётся до игроков.
А пока остаётся наблюдать за патентными заявками и гадать, какая из них станет реальностью, а какая останется красивым документом на полке. История знает примеры и того, и другого.