Сбер называет их моделями. Модель «Рерайтер» при переписывании текста подбирает другие слова, но старается не искажать смысл, а модель «Суммаризатор» создает сжатое изложение текста, сохраняя основные тезисы.
Выгоды от использования моделей очевидны. Первая создает как бы уникальные тексты, что заинтересует всех, кому они нужны, – от блогеров и продавцов до малочисленных редакций, занимающихся рерайтом. Вторая в идеале увеличивает шансы того, что люди дочитают текст до конца, будь то обзор объемной научной работы или новостной дайджест за неделю.
Понятно, что прежде чем выложить модели в открытый доступ для бета-тестирования разработчики SberDevices обучили их, загоняя на обработку большое количестве материалов разной длины, стилистики и жанров.
В развитии искусственного интеллекта работа с естественным языком — одно из важнейших направлений. Мы в SberDevices активно работаем над развитием NLP-технологий и стремимся создавать нейросети, которые смогут взять на себя рутинную работу и помогут пользователям экономить время и ресурсы.
Денис Филиппов
CEO SberDevices, вице-президент по цифровым поверхностям Салют Сбербанка
Проверяем «Рерайтер»
Чтобы оценить этот инструмент, мы использовали сервис проверки уникальности текста, а в модель Сбера загоняли новости TexTerra Daily, которые уже проиндексированы поисковыми системами. Таким образом, о глубине рерайта мы могли судить по степени уникальности нового текста. Оценку же качества мы оставили за профессиональным редактором.
Минус версии «Рерайтера» для бета-тестирования в том, что загоняемый в него текст нужно избавлять от абзацев, превращая его в единое «полотно». Иначе модель выдает ошибку и не переписывает текст. Но выдав ошибку, модель дает исходный текст с распознанными абзацами. Остается скопировать его и загнать в модель заново – и тогда ИИ уже не выдает ошибку.
Большой плюс «Рерайтера» в том, что он выдает несколько вариантов переработанного текста (куски из которых можно подставлять друг в друга), а в начале показывает «Лучший вариант» ("prediction_best"). Уникальность отобранного нейросетью текста составила 23,64%. Что касается качества, то, как и в случае с живыми авторами, нужна редактура. Приведем часть одного из переписанных нейросетью текстов.
Было:
Заходя на сайт «Детектора сбоев», пользователь может выбрать в списке интересующий его ресурс. Например, ВКонтакте (в открытом доступе представлены данные только по 40 самым популярным сайтам): на странице есть график сообщений о сбоях, три самые обсуждаемые темы и список найденных нейросетью сообщений пользователей о неполадках. Все это обновляется каждые пять минут.
Стало:
На сайте «Детектора сбоев» можно выбрать интересующий его сайт. Например, ВКонтакте (в открытом доступе представлены только по 40 самым популярным сайтам): график сообщений о неполадках и список найденных нейросетью сообщений пользователей об ошибках обновляется каждые пять минут.
Редактура человеком:
В списке «Детектора сбоев» можно выбрать интересующий сайт. Например, ВКонтакте (в открытом доступе представлена информация только по 40 самым популярным сайтам): график количества сообщений о неполадках и список найденных нейросетью жалоб пользователей на ошибки обновляются каждые пять минут.
Шесть несложных правок, а уникальность отредактированного куска текста составила уже 34,14%. Искусственный интеллект взял на себя рутинную работу и сэкономил бы нам время на рерайте и его оплате. Для стадии бета-тестирования результат вроде неплохой, но редактору понадобилось перечитать абзац не один раз и внести довольно много правок.
Проверяем «Суммаризатор»
Когда речь заходит о сокращении текста, на ум приходят произведения русских классиков, которые любили писать длинно. Вот Лев Николаевич любил, скажем. Мы взяли самое длинное его предложение из «Войны и мира» и… Нейросеть поступила с ним точно так же, как поступали все ученики, готовясь к урокам по литературе.
Было:
В 1800-х годах, в те времена, когда не было еще ни железных, ни шоссейных дорог, ни газового, ни стеаринового света, ни пружинных низких диванов, ни мебели без лаку, ни разочарованных юношей со стеклышками, ни либеральных философов-женщин, ни милых дам-камелий, которых так много развелось в наше время, - в те наивные времена, когда из Москвы, выезжая в Петербург в повозке или карете, брали с собой целую кухню домашнего приготовления, ехали восемь суток по мягкой, пыльной или грязной дороге и верили в пожарские котлеты, в валдайские колокольчики и бублики, - когда в длинные осенние вечера нагорали сальные свечи, освещая семейные кружки из двадцати и тридцати человек, на балах в канделябры вставлялись восковые и спермацетовые свечи, когда мебель ставили симметрично, когда наши отцы были еще молоды не одним отсутствием морщин и седых волос, а стрелялись за женщин и из другого угла комнаты бросались поднимать нечаянно и не нечаянно уроненные платочки, наши матери носили коротенькие талии и огромные рукава и решали семейные дела выниманием билетиков, когда прелестные дамы-камелии прятались от дневного света, – в наивные времена масонских лож, мартинистов, тугендбунда, во времена Милорадовичей, Давыдовых, Пушкиных, - в губернском городе К. был съезд помещиков, и кончались дворянские выборы.
Стало:
В 1800-х годах, в те времена, когда не было еще ни железных, ни шоссейных дорог, ни газового, ни стеаринового света, ни пружинных низких диванов, ни мебели без лаку, ни разочарованных юношей со стеклышками, ехали восемь суток по мягкой, пыльной или грязной дороге и верили в пожарские котлеты, в валдайские колокольчики и бублики, когда в длинные осенние вечера нагорали сальные свечи, освещая семейные кружки из двадцати и тридцати человек, а стрелялись за женщин и из другого угла комнаты бросались поднимать нечаянно и не нечаянно уроненные платочки.
Нейросеть не осилила эту глыбу, выхватив из нее перечисления и отрезав концовку. То же самое случилось и со стихотворениями в прозе Тургенева – неполные перечисления без концовок.
Впрочем, разработчики предупреждали, что этот инструмент больше подходит для быстрого ознакомления с научными трудами. Предложения Толстого и стихотворения в прозе Тургенева – не по его части.
Мы прогнали через «Суммаризатор» наш гайд «30 формул для создания убойных заголовков на все случаи жизни», на прочтение которого требуется 19 минут, и вот что получили:
Заголовок «10 рецептов создания убойных заголовков на все случаи жизни» с помощью приложения «Инвестиции Онлайн» может привлечь внимание пользователей, которые ищут в интернете что-то интересное. Например, если у вас большая семья, то вам стоит задуматься о том, как сэкономить деньги на покупке продуктов или услуг. Формула «10 рецептов для бизнеса» поможет найти ответы на вопросы, связанные с тем, как люди реагируют на рекламные объявления.
Проблема в том, что в тексте было много примеров заголовков, которые явно сбили с толку нейросеть. Хотя последняя фраза «поможет найти ответы на вопросы, связанные с тем, как люди реагируют на рекламные объявления», казалось бы, объясняет суть гайда. Но это не так.
Удалив примеры заголовков из статьи и загнав текст снова в «Суммаризатор», мы получили верное описание статьи:
В TexTerra рассказали, что формула 4U имеет решающее значение для успеха коммерческого текста. «По статистике, люди читают заголовки в пять раз чаще, чем основной текст», — рассказал Дэвид Огилви. Формула 4U расшифровывается так: Usefulness, Uniqueness, Ultra-Specificity, Urgency. Для того чтобы понять, как работает заголовок, нужно выделить его из контекста.
То есть модель работает вполне корректно, если ей дана не художественная литература и в тексте нет большого количества примеров. В ходе дальнейшего обучения нейросетей эти недостатки будут устраняться.
Мы собираем сейчас обратную связь от пользователей, ограничения моделей и пожелания на будущее.
Действительно, в обоих сервисах есть небольшие интерфейсные проблемы с абзацами. Но если вы пользуетесь API через запросы на каком-либо языке программирования и отправляете тексты не вручную, а автоматически, то проблем не будет и системы генерируют текст с переносами строк.
Суммаризатор хорошо «выцепляет» основные идеи из текста. Однако, если есть поток сложных перечислений и однотипных примеров, то нейросети сложно понять, что из этого важнее, так как все выглядит равноценно. Это характерно для определенных жанров текстов.
По Рерайтеру мы работаем над тем, чтобы уникальность текста была выше, и при этом сохранялся смысл и факты. Это тонкий баланс, от которого напрямую зависит конечное количество правок редакторами. И чтобы достичь его, важно не только обучение ИИ. Ключевой вопрос тут в данных, подборе параметров, постобработке и оценке. Автоматические и человеческие оценки качества зачастую расходятся, но мы делаем повторные проверки, чтобы узнать, улучшается ли качество с каждой новой итерацией.
Оба сервиса в значительной степени зависят от баз данных. Мы постоянно пополняем базы примеров и стилей текста нашей обучающей выборки, чтобы сервисы корректно работали с любыми сложными лексическими случаями.
В планах у нас – дальнейшее пополнение базы текстов для обучения ИИ, разработка новых методов отбора лучших версий текстов после обработки, классификаторов для оценки степени естественности текста, а также исправление мелких ошибок и улучшение интерфейса для удобства использования.
Алена Феногенова
Team Lead команды прототипов AGI NLP, SberDevices
