Проверили китайскую программу на снимках Мэрилин Монро, Чарли Чаплина и Одри Хэпберн.
Свои детские фотоальбомы давно листали? – смотреть на многие старые снимки почти физически больно: потертости исказили множество деталей. А если речь идет о документах истории? Архивные фотографии во многом уже не передают реальный облик исторических личностей и географических точек. Чтобы вернуть старым фото оригинальное качество, китайские ученые из компании Tencent создали нейросеть под названием GFP-GAN. Рассказываем, как она работает и для чего подходит лучше всего.
Как нейросеть GFP-GAN улучшает фотографии
GFP-GAN – далеко не первая программа подобного рода. Мы публиковали подборку 10 нейросетей для обработки изображений. Среди представленных в списке программ есть и такие, которые способны восстанавливать «пиксельные» изображения, улучшая их качество, или генерировать лица несуществующих людей.
Все эти возможности работающие с изображением нейросети получили благодаря наличию огромных баз готовых к обработке снимков. Более современные проекты нейросетей даже используют в качестве основы другие нейросети. Например, разработчики GFP-GAN основывались на нейросети StyleGAN-2 от NVIDIA. Эта программа стала известна тем, что способна генерировать несуществующие лица людей в таком качестве, что сделанный ею снимок практически невозможно отличить от реального.
Нейросеть от NVIDIA выполняла в созданной китайскими учеными программе по большей части вспомогательные функции – она работала в паре с другой нейросетью на нескольких этапах обработки изображения, чтобы улучшить качество снимка, при этом не упустив значимых деталей.
В результате получилась технология, способная стереть дефекты со старых фото, удалить зернистость и потертости. Использовать нейросеть могут все – уже появились несколько бесплатных проектов, куда можно загрузить сканы старых портретов и получить на выходе красивый цифровой снимок.
Проверяем работу нейросети GFP-GAN
Ученые Tencent вместе с публикацией научной статьи о своей разработке выложили в открытый доступ на GitHub весь ее исходный код. Все для того, чтобы нейросетью могли пользоваться художники для собственных проектов. Кроме того, исследователи опубликовали список ресурсов, где можно протестировать демо-версию GFP-GAN:
- Демо GFP-GAN на Colab;
- Онлайн-сервис Huggingface (возвращает только обрезанное лицо);
- Онлайн-сервис Replicate.ai (возможно, потребуется войти в систему, чтобы получить итоговое изображение целиком);
- Онлайн-сервис Baseten.co (можно подключить пользовательский графический процессор, возвращает все изображение целиком).
Мы попробовали все четыре ссылки и протестировали первые три – последний сервис отказался открываться. Наиболее простым для рядового пользователя будет сервис Huggingface (под номером 2). Тут все интуитивно понятно – слева перетаскиваем или загружаем из папки нужный снимок, нажимаем «исполнить» и ждем, когда результат появится в ячейке справа.
На первом и втором снимке видны явные улучшения, а третий, видимо, и так хорош.: Работать в Huggingface просто и интуитивно понятно
Replicate.ai в плане юзабилити посложнее, однако и там в целом все понятно – листаем страницу вниз и под шаблоном изображения с надписью Input загружаем фото в форму. Затем жмем кнопку Submit и ждем результат.
Сервис под номером один в целом дает больше пространства для настройки и позволяет менять исходный код, однако для неспециалистов запуск программы на Colab может показаться сложным.
Мы протестировали сервисы Huggingface и Replicate.ai при помощи трех снимков известных личностей – Мэрилин Монро, Чарли Чаплина и Одри Хэпберн. Результаты в первых двух случаях оказались на обоих сервисах практически идентичны (неудивительно, ведь нейросеть одна и та же). Единственное отличие заключалось в том,что Huggingface урезал исходный снимок так, чтобы все изображение занимало лицо. Со снимком Одри Хепберн Huggingface почему-то не справился – сервис выдавал ошибку. Replicate.ai, напротив, довольно легко и быстро обработал фотографию. На результаты наших тестов вы можете посмотреть сами:
На первом и втором снимке видны явные улучшения, а третий, видимо, и так хорош.
Наша оценка: нейросеть реально улучшает качество старых снимков – убирает зернистость, пиксельность от фотографий в низком разрешении, удаляет потертости и дефекты. Но лица людей (а именно на их улучшение и нацелена программа) становятся после обработки нереально гладкими, как будто на них нанесли тонны тональника. Сама по себе технология впечатляет – возможно, в будущем вместе другими нейросетями (например, оживляющей старые снимки программой Deep Nostalgia от сервиса MyHeritage) она поможет сделать цифровые клоны известных личностей прошлого.
