Эта нейросеть создает трехмерные объекты – дизайнерам на заметку!

11 Май 2023

Время чтения: 7 минут

Стартап Microsoft доработал нейросеть Point-E – результаты ее работы восхищают.

Мы рассказывали про нейросеть Point-E, которую ранее показал OpenAI. Теперь компания опубликовала в открытом доступе усовершенствованную версию нейросети для генерации 3D-объектов. Она получила название Shap-E и ее первые тесты удивили экспертов.

Как работает нейросеть для создания 3D

Shap-E — это генеративная модель, похожая на DALL-E 2, но для 3D-ресурсов. Как и Point-E, эта нейросеть сначала преобразует текстовый запрос в двумерное изображение, как и нейросети DALL-E или Midjourney, а затем переводит его в трехмерное пространство.

Но у Shap-E есть и несколько других интересных функций. Например, в нее можно загрузить уже готовое двумерное изображение, и на выходе алгоритм выдаст 3D-модель. Также результат генерации можно выгрузить в файл с расширением STL, который затем можно отправить на 3D-принтер и распечатать трехмерную модель в нужном размере и цвете.

Главный плюс новой нейросети Shap-E — она бесплатная, а скачать и воспользоваться ей может каждый. Правда, установить нейросеть на ПК и сгенерировать 3D-изображения будет не так просто — OpenAI не оставила никаких инструкций по установке и настройке модели, так что разбираться пришлось журналистам изданий о технологиях.

А TexTerra может помочь вам разобраться с написанием текстов. У нас вы можете заказать тексты для сайта, а наши специалисты позаботятся о качестве и сроках.

Как установить нейросеть Shap-E

Журналисту издания Tom’s Hardware потребовалось восемь часов, чтоб разобраться, как установить Shap-E и генерировать при помощи нейросети изображения. Мы приводим перевод его инструкции:

Установите Miniconda или Anaconda в Linux. Скачать ПО и посмотреть инструкции можно на сайте Conda.
Создайте среду Conda под названием shap-e с установленным Python 3.9 (могут работать другие версии Python):

conda create -n shap-e python=3.9

Активируйте среду Shap-e.

conda activate shap-e

Установите Pytorch. Если у вас видеокарта Nvidia, используйте эту команду.

conda install pytorch=1.13.0 torchvision pytorch-cuda=11.6 -c pytorch -c nvidia

Если у вас нет карты Nvidia, вам необходимо выполнить установку на центральный процессор. Установка выполняется быстро, но генерация моделей при помощи ЦП очень медленная. Для установки на процессор используйте эту команду:

conda install pytorch torchvision torchaudio cpuonly -c pytorch

Создайте Pytorch. На этом этапе журналисту Tom’s Hardware понадобились часы, чтобы найти нужную команду. Вот она:

pip install "git+https://github.com/facebookresearch/pytorch3d.git"

Если вы получаете ошибку, связанную с CUDA, попробуйте использовать команду sudo apt install nvidia-cuda-dev и затем повторить процесс.

Установите Jupyter Notebook с помощью Conda.

conda install -c anaconda jupyter

Клонируйте репозиторий Shap-E.

git clone https://github.com/openai/shap-e

Эта команда создаст папку Shap-E под той, из которой вы ее клонировали.

Введите директорию, в которой находится Shap-E и запустите ее установку с помощью pip.

cd shap-e

pip install -e .

Запустите Jupyter notebook.
Перейдите по URL локального хоста, который показывает вам программа. Это будет http://localhost:8888?token=[ваш_токен]. Вы увидите каталог папок и файлов.
Перейдите в shap-e /examples и дважды щелкните на sample_text_to_3d.ipynb.
Выделите каждый раздел и нажмите кнопку Run.

Когда все будет готово, вы должны увидеть четыре 3D-модели акулы в вашем браузере. В папке examples также будет четыре файла .ply, которые вы сможете открыть в программах для создания 3D-изображений, например, в Paint 3D. Если хотите изменить текстовый запрос, просто обновите свой браузер и измените a shark на что-нибудь другое в разделе с текстовым запросом.