Что будет, если объединить два тренда: нейросети и аниме? В китайском Tencent ранее уже доказали, какой взрыв популярности это повлечет. А в первые дни нового года японская команда разработчиков представила нейросеть Waifu Diffusion с открытым кодом, которая способна генерировать аниме-картинки по текстовому запросу.
Как работает Waifu Diffusion
Нейросеть основана, как нетрудно догадаться, на модели Stable Diffusion. Об этой популярной нейросети мы рассказывали. Надо сказать, что в последней версии модель стала гораздо лучше, но ей все еще требуется довольно много шагов для генерации качественной картинки.
Так как Stable Diffusion имеет открытый исходный код, никто не мешает дорабатывать его или переобучать на своем массиве данных. Поэтому японские разработчики решили обучить модель на большом наборе качественных изображений из аниме.
Согласно карточке модели на сайте Hugging Face, разработчики нейросети не претендуют на авторские права на сгенерированные вами изображения — их можно свободно использовать даже в коммерческих целях согласно лицензии CreativeML OpenRail. Единственное, что запрещено, — генерация изображений, нарушающих законы той или иной страны.
Как пользоваться нейросетью Waifu Diffusion
Чтобы воспользоваться нейросетью Waifu Diffusion («вайфу», кстати, называют персонажей аниме, которых буквально любят, как настоящих жен), нужно зайти на сервер Discord команды Project AI, решив перед этим простую капчу.
Не забудьте прочитать правила в разделе info-rules. Сама генерация изображений происходит в чате #text-to-image чуть ниже — в разделе AI Bots. Чтобы сгенерировать картинку, вам нужно ввести команду /dream, выбрать в выпавшем окне подсказку со словом promt и ввести внутри контейнера нужные слова на английском языке.
Лучше всего нейросеть работает, если при запросе перечислять эти слова через запятую. Это могут быть различные прилагательные или существительные, можно пробовать и глаголы, но с ними нейросеть справляется плохо. Мы тоже протестировали эту аниме-нейросеть и вот что у нас получилось.
Digital-специалисты глазами Waifu Diffusion
Мы сгенерировали при помощи нейросети представителей различных digital-профессий. Нетрудно догадаться, что все они вышли женского пола (парни не могут быть вайфу). Вот, например, как Waifu Diffusion видит дизайнера:
В целом очень даже хорошо, но что с левой ногой и пальцами на правой руке?
А вот как выглядит маркетолог по мнению аниме-нейросети:
Что ж, опять подвела рука, да и над сумочками я бы еще поработал. А как насчет SMM-специалиста?
А вот это уже хорошо. Косяков практически не видно, за исключением надписей в нижней части. У нас вы, кстати, можете заказать оформление соцсетей, и мы тоже сделаем его без косяков.
В целом модель радует скоростью генерации — весь процесс занимает меньше 30 секунд. Правда, и количество пользователей пока небольшое — в онлайне едва набирается десяток человек. Поэтому, вероятно, скоро генерация изображений этой аниме-нейросетью будет занимать больше времени.
Читайте также:
Срочно делаем аватар в стиле аниме — взрывное приложение Meitu!