У вас бизнес в сфере торговли? Приведем вам клиентов!

У вас бизнес в сфере торговли? Приведем вам клиентов!

Подробнее
mail@texterra.ru
Заказать звонок
Заказать услугу
Позвонить: 8 (800) 775-16-41
Связаться со мной

Эта нейросеть восстанавливает старые фото – протестировали ее

Проверили китайскую программу на снимках Мэрилин Монро, Чарли Чаплина и Одри Хэпберн.

Эта нейросеть восстанавливает старые фото – протестировали ее
Дата публикации: 8 августа 2022
Никита Шевцев
23 034
Время чтения: 5 минут
Эта нейросеть восстанавливает старые фото – протестировали ее Редакция «Текстерры»
Редакция «Текстерры»

Свои детские фотоальбомы давно листали? – смотреть на многие старые снимки почти физически больно: потертости исказили множество деталей. А если речь идет о документах истории? Архивные фотографии во многом уже не передают реальный облик исторических личностей и географических точек. Чтобы вернуть старым фото оригинальное качество, китайские ученые из компании Tencent создали нейросеть под названием GFP-GAN. Рассказываем, как она работает и для чего подходит лучше всего.

Как нейросеть GFP-GAN улучшает фотографии

GFP-GAN – далеко не первая программа подобного рода. Мы публиковали подборку 10 нейросетей для обработки изображений. Среди представленных в списке программ есть и такие, которые способны восстанавливать «пиксельные» изображения, улучшая их качество, или генерировать лица несуществующих людей.

Все эти возможности работающие с изображением нейросети получили благодаря наличию огромных баз готовых к обработке снимков. Более современные проекты нейросетей даже используют в качестве основы другие нейросети. Например, разработчики GFP-GAN основывались на нейросети StyleGAN-2 от NVIDIA. Эта программа стала известна тем, что способна генерировать несуществующие лица людей в таком качестве, что сделанный ею снимок практически невозможно отличить от реального.

Киану Ривз в Питере и с балалайкой: как сегодня делают дипфейки

Киану Ривз в Питере и с балалайкой: как сегодня делают дипфейки

Нейросеть от NVIDIA выполняла в созданной китайскими учеными программе по большей части вспомогательные функции – она работала в паре с другой нейросетью на нескольких этапах обработки изображения, чтобы улучшить качество снимка, при этом не упустив значимых деталей.

В результате получилась технология, способная стереть дефекты со старых фото, удалить зернистость и потертости. Использовать нейросеть могут все – уже появились несколько бесплатных проектов, куда можно загрузить сканы старых портретов и получить на выходе красивый цифровой снимок.

Проверяем работу нейросети GFP-GAN

Ученые Tencent вместе с публикацией научной статьи о своей разработке выложили в открытый доступ на GitHub весь ее исходный код. Все для того, чтобы нейросетью могли пользоваться художники для собственных проектов. Кроме того, исследователи опубликовали список ресурсов, где можно протестировать демо-версию GFP-GAN:

  1. Демо GFP-GAN на Colab;
  2. Онлайн-сервис Huggingface (возвращает только обрезанное лицо);
  3. Онлайн-сервис Replicate.ai (возможно, потребуется войти в систему, чтобы получить итоговое изображение целиком);
  4. Онлайн-сервис Baseten.co (можно подключить пользовательский графический процессор, возвращает все изображение целиком).

Мы попробовали все четыре ссылки и протестировали первые три – последний сервис отказался открываться. Наиболее простым для рядового пользователя будет сервис Huggingface (под номером 2). Тут все интуитивно понятно – слева перетаскиваем или загружаем из папки нужный снимок, нажимаем «исполнить» и ждем, когда результат появится в ячейке справа.

Интерфейс Huggingface

На первом и втором снимке видны явные улучшения, а третий, видимо, и так хорош.: Работать в Huggingface просто и интуитивно понятно

Replicate.ai в плане юзабилити посложнее, однако и там в целом все понятно – листаем страницу вниз и под шаблоном изображения с надписью Input загружаем фото в форму. Затем жмем кнопку Submit и ждем результат.

Сервис под номером один в целом дает больше пространства для настройки и позволяет менять исходный код, однако для неспециалистов запуск программы на Colab может показаться сложным.

Делаем сайты. Обсудим?
Ошибка заполнения!
Ошибка заполнения!
Ошибка заполнения!
Нажимая кнопку “Зарегистрироваться”, вы даете согласие на обработку своих персональных данных.

Мы протестировали сервисы Huggingface и Replicate.ai при помощи трех снимков известных личностей – Мэрилин Монро, Чарли Чаплина и Одри Хэпберн. Результаты в первых двух случаях оказались на обоих сервисах практически идентичны (неудивительно, ведь нейросеть одна и та же). Единственное отличие заключалось в том,что Huggingface урезал исходный снимок так, чтобы все изображение занимало лицо. Со снимком Одри Хепберн Huggingface почему-то не справился – сервис выдавал ошибку. Replicate.ai, напротив, довольно легко и быстро обработал фотографию. На результаты наших тестов вы можете посмотреть сами:

Нейросеть улучшает изображения Нейросеть улучшает изображения Нейросеть улучшает изображения
Смотреть галерею

На первом и втором снимке видны явные улучшения, а третий, видимо, и так хорош.

Наша оценка: нейросеть реально улучшает качество старых снимков – убирает зернистость, пиксельность от фотографий в низком разрешении, удаляет потертости и дефекты. Но лица людей (а именно на их улучшение и нацелена программа) становятся после обработки нереально гладкими, как будто на них нанесли тонны тональника. Сама по себе технология впечатляет – возможно, в будущем вместе другими нейросетями (например, оживляющей старые снимки программой Deep Nostalgia от сервиса MyHeritage) она поможет сделать цифровые клоны известных личностей прошлого.

В Москве оживили Мону Лизу c помощью искусственного интеллекта. Чем опять обеспокоены на Западе?

В Москве оживили Мону Лизу c помощью искусственного интеллекта. Чем опять обеспокоены на Западе?

Оглавление

© «TexTerra», при полном или частичном копировании материала ссылка на первоисточник обязательна.
Нашли ошибку в тексте? Выделите нужный фрагмент и нажмите ctrl + enter.

У вас есть деловой запрос?
Давайте обсудим!

Оставьте свои контакты,
мы свяжемся с вами в ближайшее время.

Ошибка заполнения!