![Новая Stable diffusion XL — возможно, лучше MidJourney [обновлено]](/upload/iblock/ddf/59fhc02o678npod4wwrylj01l8d9ghj3/soc_seti.webp)
Первая версия нейросети Stable diffusion вышла в августе 2022 года. Спустя почти год нейросеть с открытым исходным кодом шагнула далеко вперед: версия Stable diffusion XL, которая стала общедоступной 27 июля, может конкурировать даже с последними версиями конкурента MidJourney.
Что такое нейросеть Stable Diffusion
Эта программа — дело рук разработчиков из компании stability.ai, которая занимается поддержкой и развитием проектов, связанных с искусственным интеллектом. Например, в их резюме — проект CAIAC, миссия которого заключается в борьбе с COVID-19 при помощи алгоритмов искусственного интеллекта, децентрализованное сообщество исследователей ИИ EleutherAI и общественная НКО LAION, цель которой — создать мощный ИИ с открытым исходным кодом.
Stable Diffusion — инструмент с открытым исходным кодом, который, по словам создателей, «позволит миллиардам людей создавать потрясающие произведения искусства за секунды».
Стоит сказать, что Stable Diffusion — не совершенно новая, написанная с нуля нейросеть. В ее основе — лучшие подобные программы, в том числе Dall-E 2 от Open AI и Imagen от Google Brain. Однако эта нейросеть использует модель так называемой скрытой диффузии вместо стандартной диффузионной модели, которая лежит в основе работы большинства современных нейросетей, генерирующих изображения по текстовому описанию. Стандартные модели работают с отдельными пикселями, из-за чего генерация с их помощью картинки в хорошем качестве занимает много времени и вычислительных ресурсов. Модель скрытой диффузии оптимизирует процесс генерации изображений за счет предварительно обученных подпрограмм — это позволяет как сэкономить вычислительные мощности, так и добиться высокого разрешения картинки за короткое время.
Но любая теория проверяется на практике!
Тест работы Stable Diffusion
Разработчики Stable Diffusion придерживаются принципов открытости, поэтому выложили исходный код нейросети на GitHub. Вы можете скачать файлы программы и попробовать запустить ее на своем устройстве, однако учтите, что просто для того, чтобы нейросеть работала, ей нужно не менее 6,9 Гб видеопамяти.
Если ваш компьютер, как мой MacBook, например, не такой мощный — можно воспользоваться одним из двух онлайн-сервисов:
- Hugging Face — тут можно генерировать неограниченное количество изображения без регистрации.
- DreamStudio — здесь понадобится регистрация, но после нее можно также создавать сколь угодно много картинок.
На этих сервисах можно опробовать и самую передовую модель Stable Diffusion XL 1.0. Модель содержит 3,5 млрд параметров и позволяет создавать изображения с разрешением 1 мегапиксель за секунды. Кроме того, она понимает сложные инструкции и короткие подсказки, в отличие от предыдущих версий Stable Diffusion. Помимо этого у новой версии нейросети есть еще несколько новых функций:
- она может восстанавливать недостающие части изображения;
- может «расширять» изображение аналогично функции Zoom Out от MidJourney (ну или как у «Кандинского»);
- понимает запросы в виде картинок.
А теперь просто посмотрите на сравнение результатов генерации Stable Diffusion первой версии и версии XL 1.0:
Как видим, модель XL 1.0 стала на несколько порядков лучше справляться с генерацией изображений. Это касается и понимания запроса, и качества изображения, и количества различных артефактов. По сравнению с выпущенной год назад версией, XL 1.0 допускает меньше ошибок при генерации и выдает результаты на уровне MidJourney v. 5. Вот еще несколько примеров работы Stable Diffusion XL 1.0:
Читайте также:
Как смешивать изображения в Midjourney: тест фичи