Над этой нейросетью, получившей название OutCast, трудились разработчики из Apple, Adobe и Университетского колледжа Лондона.
Программа определяет, откуда на фотографии льется свет, «видит» объекты, которые могут отбрасывать тени, и расположение поверхностей, которые при перемещении источника света будут освещаться или уходить в тень. Затем, в зависимости от положения бегунка, которым управляет человек, нейросеть «перемещает» источник освещения, убирая старые тени и рисуя новые, а также освещая поверхности, которые прежде находились в тени.
Так нейросеть OutCast обрабатывает фотографии: слева – оригиналы, справа – измененные снимки
Вы можете сами посмотреть, как работает алгоритм, меняя освещение на нескольких фотографиях здесь (но загрузить свои снимки там для обработки вы не сможете).
Интерес новая нейросеть представляла бы, если бы ее выложили в открытый доступ или создали на ее основе мобильное приложение. Но о подобных планах пока не сообщается.
«Мы предлагаем метод альтернативного освещения фотографий улицы. Наш метод основывается на прогнозировании отбрасываемых теней в произвольных направлениях, а также на затенении с применением эффектов, таких как цвет солнечного света. Мы использовали оценку зашумления фотографии, что позволяет определить геометрию объектов на снимках и получить трехмерное представление о них», – объясняют разработчики OutCast.
Принцип работы нейросети OutCast
Это неплохая идея и отличная реализация. Выглядит пока немного сыровато, но однозначно эффектно. Огрехи есть, но в целом, если не приглядываться, то результат получается вполне хорошим. Заметить «косяки» обработки можно только на стоп кадрах, но это не критично.
Такую программу можно использовать, например, в динамичной рекламе – в качестве эффектного оформления. Также, думаю, обработка снимков нейросетью OutCast может пригодиться пользователям соцсетей.
Но все зависит от того, насколько легко будет пользоваться алгоритмом. Думаю, он может стать отличным фильтром не только в соцсетях, но и Adobe Photoshop и других графических приложений.
Святослав Грошев
арт-директор TexTerra
