Ещё до релиза Google Pixel в недрах лаборатории Google X существовал прототип крошечной камеры Gcam, которая предназначалась для внедрения в Google Glass. Новшество камеры заключалось в том, что все аппаратные недочёты запросто исправлялись программной составляющей. Мы писали о том, как Google создавала свои алгоритмы Gcam, начиная с 2011 года, и как она преуспела в последнем детище компании, смартфоне Google Pixel.

Журналист сайта TheVerge, Влад Савов на днях опубликовал материал, основная мысль которого постоянно крутилась у меня в голове, но я никак не мог выразить ее “на бумаге”. А мысль следующая: однажды мы сможем делать фотографии вообще без каких-либо устройств и камер.

Звучит дико и немыслимо, но не более невероятно, чем когда-то казался интернет, мессенджеры и YouTube. Давайте рассмотрим сам процесс создания снимка: когда мы нажимаем кнопку спуска на нашем смартфоне, информация о световом потоке собирается и фокусируется с помощью линзы на цифровой датчик, который преобразует фотоны в данные, после алгоритмы смартфона превращают их в изображение на дисплее. То есть мы просто передаем информацию компьютеру и он нам ее преображает так, как может и умеет. Умеет вроде бы неплохо.

А вот то, что сейчас делает и к чему идет сама Google в вопросе фотографий и изображений говорит о том, что эту информацию мы не будем передавать компьютеру или смартфону руками — изображением будет являться результат машинного обучения. “Машины” сами станут дорисовывать картинку и со временем им не понадобится вообще никакая информация лично от нас, искусственный интеллект будет собирать эту информацию на лету из разных источников.

Уже сейчас смартфон знает что, где и когда вы делаете, а теперь представьте, если у устройства будет доступ к библиотеке из триллионов изображений и оно будет учитывать погоду и время суток, данные спутников. К примеру наводите вы смартфон на здание своего любимого ресторана, а искусственный интеллект уже видит фотографию этого ресторана в сети в разное время суток сделанную другими людьми и на основе этой информации создает для вас идеальный снимок.

Google уже использует технологии машинного обучения для упорядочивания снимков в приложении Фото. Оно понимает места, лица и эмоции. А система навигации Galileo, которая недавно запустилась в Европе, вычисляет местоположение человека, учитывая​ его рост. Ожидается, что будущий Pixel будет воплощением всех этих наработок.

Adobe ещё больше удивляет своим инструментом восстановления изображения в Photoshop. Он способен расширить небо на фотографии, удалить дорогу, восстановить недостающую часть и так далее. Это всё — машинное обучение, оно понимает контекст. Конечно, создание фото по контексту — это самая сложная задача, ведь информация о фотонах вовсе отсутствует.

Проблема с захватом этих​ частиц состоит в том, что для выполнения этой задачи требуется достаточное количество света (чего, чаще всего, нет) и заряд аккумулятора, который столь ценен в современном мире. Раньше до этого обязательно нужна была камера, а сейчас подойдет даже Google Glass. Но все прорывы в вопросах мобильной фотографии в смартфоне сегодня, это уже не вопрос технических характеристик камеры, а вопрос мозгов и алгоритмов машины, которые берут имеющуюся информацию, в нашем случае “какое-то изображение” и на основе него дорисовывают детали. Каждый год это становится заметней и Google не скрывает этого. Недавнее обновление приложения Google Photo добавило много новых функций, в том числе стабилизацию видео. Понимаете? Стабилизацию, уже отснятого видео. Google уже даже все равно как и на что это видео было снято. Берет файл, и изображение в нем по возможности перерисовывает и дополняет на основе машинного обучения.

Далеко ходить не нужно, портретная камера в iPhone 7 Plus тоже ведь поначалу не умела делать нормальное “боке”, но ничего, обучилась как-то на основе данных пользователей. То есть нас с вами.

Источник