Мы рассказывали про нейросеть Point-E, которую ранее показал OpenAI. Теперь компания опубликовала в открытом доступе усовершенствованную версию нейросети для генерации 3D-объектов. Она получила название Shap-E и ее первые тесты удивили экспертов.
Как работает нейросеть для создания 3D
Shap-E — это генеративная модель, похожая на DALL-E 2, но для 3D-ресурсов. Как и Point-E, эта нейросеть сначала преобразует текстовый запрос в двумерное изображение, как и нейросети DALL-E или Midjourney, а затем переводит его в трехмерное пространство.
Но у Shap-E есть и несколько других интересных функций. Например, в нее можно загрузить уже готовое двумерное изображение, и на выходе алгоритм выдаст 3D-модель. Также результат генерации можно выгрузить в файл с расширением STL, который затем можно отправить на 3D-принтер и распечатать трехмерную модель в нужном размере и цвете.
Главный плюс новой нейросети Shap-E — она бесплатная, а скачать и воспользоваться ей может каждый. Правда, установить нейросеть на ПК и сгенерировать 3D-изображения будет не так просто — OpenAI не оставила никаких инструкций по установке и настройке модели, так что разбираться пришлось журналистам изданий о технологиях.
А TexTerra может помочь вам разобраться с написанием текстов. У нас вы можете заказать тексты для сайта, а наши специалисты позаботятся о качестве и сроках.
Как установить нейросеть Shap-E
Журналисту издания Tom’s Hardware потребовалось восемь часов, чтоб разобраться, как установить Shap-E и генерировать при помощи нейросети изображения. Мы приводим перевод его инструкции:
- Установите Miniconda или Anaconda в Linux. Скачать ПО и посмотреть инструкции можно на сайте Conda.
- Создайте среду Conda под названием shap-e с установленным Python 3.9 (могут работать другие версии Python):
conda create -n shap-e python=3.9
- Активируйте среду Shap-e.
conda activate shap-e
- Установите Pytorch. Если у вас видеокарта Nvidia, используйте эту команду.
conda install pytorch=1.13.0 torchvision pytorch-cuda=11.6 -c pytorch -c nvidia
Если у вас нет карты Nvidia, вам необходимо выполнить установку на центральный процессор. Установка выполняется быстро, но генерация моделей при помощи ЦП очень медленная. Для установки на процессор используйте эту команду:
conda install pytorch torchvision torchaudio cpuonly -c pytorch
- Создайте Pytorch. На этом этапе журналисту Tom’s Hardware понадобились часы, чтобы найти нужную команду. Вот она:
pip install "git+https://github.com/facebookresearch/pytorch3d.git"
Если вы получаете ошибку, связанную с CUDA, попробуйте использовать команду sudo apt install nvidia-cuda-dev и затем повторить процесс.
- Установите Jupyter Notebook с помощью Conda.
conda install -c anaconda jupyter
- Клонируйте репозиторий Shap-E.
git clone https://github.com/openai/shap-e
Эта команда создаст папку Shap-E под той, из которой вы ее клонировали.
- Введите директорию, в которой находится Shap-E и запустите ее установку с помощью pip.
cd shap-e
pip install -e .
- Запустите Jupyter notebook.
- Перейдите по URL локального хоста, который показывает вам программа. Это будет http://localhost:8888?token=[ваш_токен]. Вы увидите каталог папок и файлов.
- Перейдите в shap-e /examples и дважды щелкните на sample_text_to_3d.ipynb.
- Выделите каждый раздел и нажмите кнопку Run.
Когда все будет готово, вы должны увидеть четыре 3D-модели акулы в вашем браузере. В папке examples также будет четыре файла .ply, которые вы сможете открыть в программах для создания 3D-изображений, например, в Paint 3D. Если хотите изменить текстовый запрос, просто обновите свой браузер и измените a shark на что-нибудь другое в разделе с текстовым запросом.
Читайте также:
Как составлять запросы к нейросетям: примеры, настройки, параметры
70 бесплатных нейросетей на все случаи жизни – выбор TexTerra
Китайская нейросеть делает из вас персонажа аниме. Бесплатно