Большинство инструментов редактирования изображений не очень хорошо справляются, когда вы просите их исправить фотографию. Они будут брать контент из соседних пикселей (например, недавно продемонстрированный Adobe контекстно-зависимый ИИ-файл), но они не могут определить, что должно было быть там - и это не хорошо, если вы пытаетесь восстановить многолетнюю фотографию где вы знаете, что отсутствует. У NVIDIA может быть решение. Она разработала систему глубокого обучения, которая восстанавливает фотографии, определяя, что должно присутствовать в пустых или поврежденных пространствах. Например, если на портрете отсутствует глаз, она знает и вставляет его, даже если область глаз в значительной степени скрыта.

Были предыдущие попытки заливки с ИИ-управлением, но они, как правило, были ограничены прямоугольными сечениями, сосредоточились на промежутках вблизи середины изображения и не очень хорошо масштабировались для отсутствия фотоданных разных размеров. Подход «частичной свертки» от NVIDIA, который гарантирует, что вывод недостающих пикселей не зависит от входных значений, может работать с отверстиями любой формы, размера или местоположения. Это, в свою очередь, во многих случаях производит необычно реалистичные результаты - даже если ИИ не знает точно, чего не хватает, результат обычно выглядит так, как будто он подходит. Предыдущие методы, как правило, вызывали явные сбои.

NVIDIA обучила свою систему, создав десятки тысяч вариаций дыр, и ИИ научился восстанавливать фотографии. Он тестировался с использованием другого набора отверстий, чтобы ИИ действительно понимал, как самостоятельно восстанавливать фотографии.

Результаты не всегда безупречны. Но это все еще может быть невероятно полезно. Вы могли бы ремонтировать казалось бы безнадежные изображения без часов кропотливой реконструкции. Ученые также предполагают, что ИИ помогает масштабировать изображения, не теряя остроты. По сути, вам только придется беспокоиться о том, чтобы коснуться мелких деталей - дни воссоздания целых сегментов с нуля могут скоро закончиться.