«Яндекс Лавка» показала, как интегрировала нейросеть YandexGPT в работу сервиса и смогла автоматизировать процесс заполнения карточек продуктов. Выглядит волшебно, но доступно это только сотрудникам «Яндекса». А мы расскажем, как можно использовать другие нейросети для столь же волшебного заполнения карточек ваших товаров.
Заполнение карточек товаров в Яндекс
Яндекс презентовал первую версию YandexGPT (или YaGPT) еще в мае 2023 года. С тех пор нейросеть стала сильно лучше — последняя версия отечественной языковой модели способна запоминать контекст диалога, не уходить от ответа и лучше понимать, что от нее хочет пользователь.
Но до сих пор компаниям не особенно понятно, как можно использовать подобные нейросети в своем бизнесе. Поэтому Яндекс решил показать, как в самой компании YandexGPT помогает сократить расходы и ускорить процессы.
Например, в «Яндекс Лавке» смогли объединить две технологии Яндекса — непосредственно нейросеть YaGPT и OCR (Optical Character Recognition — оптическое распознавание символов), — чтобы по фото продукта быстро заполнять карточки товаров. Вот как это выглядит на деле:
С глобальной точки зрения все не так сложно: сначала изображение обрабатывается при помощи OCR — алгоритм находит на картинке буквы и переводит их в текст. Затем этот текст отправляется в YandexGPT, которая обрабатывает его и вычленяет нужные характеристики товара. Они автоматически подставляются в системе, а затем человек проверяет корректность заполнения.
Сообщается, что нововведение позволяет в три раза ускорить заполнение карточек по сравнению с ручным трудом. Впечатляет! Особенно круто, что сделать это может любая компания — правда, над такой же реализацией технологии, как у Яндекса, придется попотеть: надо будет создать собственный сервис и интегрировать в нем YandexGPT с OCR. Тут точно понадобится программист, а то и целая команда.
Но есть способ автоматизировать заполнение карточек и без айтишника — сейчас расскажем, как.
Как заполнять карточки нейросетью
Для этого нам понадобится ChatGPT с подпиской Plus, который дает доступ к модели GPT-4 — оплатить ее из России непросто, но через посредников (например, Telegram-ботов) сделать это вполне возможно.
Итак, заходим в ChatGPT и при помощи переключателя в верхней части интерфейса выбираем GPT-4 с подключенной функцией Advanced Data Analysis:
Теперь при помощи значка плюса в панели ввода запроса загружаем в нейросеть картинку товара — на ней должна быть вся нужная нам информация (иначе откуда программа ее возьмет). После этого вводим примерно такой запрос:
«посмотри на это изображение и распознай текст на нем. Напиши текстом [перечисляем параметры, которые нам нужно получить с изображения]»
Мы протестировали функцию на фотографии обратной стороны йогурта Epica:
Попросили распознать текст и вывести название продукта, его состав, производителя и массу нетто. Вот какой результат выдала нам нейросеть:
«Название продукта: МОГУРТ С КИВИНКОЙ ВЫ ЭКСТРАКТОМ РОЗЫ! «EPICA BOUQUET»
Состав: Массовая доля жира 4,8 %. Содержание в готовом продукте не менее 10^6 КОЕ/г.
Производитель: ООО «Эрманн», 140126, Россия, Московская обл., Раменский район, пос. РАОС, дом 15.
Масса нетто: 150 г.»
Да, тут не все точно — за нейросетью нужно тщательно все проверять. Но зато в принципе времени (и денег) тратится меньше. В целом нейросеть все сделала правильно — ошиблись только мы, ведь состава на упаковке не было.
Читайте также:
71 бесплатная нейросеть на все случаи жизни – выбор TexTerra
28 лучших нейросетей для видео: проверенный список
Попробовали нейросеть Bard от Google — она больше не ошибается!