Кейс: нейросеть проверила источники о препарате, а мы… проверили нейросеть

Редакция «Текстерры»

Возьмем двух пользователей. Первый спрашивает нейросеть о конкретном препарате от простуды и получает подробный ответ: формы выпуска, показания, ограничения. В инструкции однозначно сказано, что при беременности препарат противопоказан. А в ответе нейросети это превратилось в «по назначению врача». Под ответом — ссылка на аптечный блог, официального сайта среди источников нет.

Второй пользователь спрашивает, чем лечить ОРВИ. Нейросеть пишет о симптоматической терапии и препаратах прямого противовирусного действия. Нашего препарата в ответе нет.

Из таких сценариев и выросла задача проекта. В первом нейросеть знает бренд, но искажает медицински значимый факт. Во втором бренда просто нет. Пока мы разбирались с обеими проблемами, выяснилось, что ошибаются все звенья цепочки, по которой сведения о препарате доходят до пользователя: внешние площадки, сайт бренда и Perplexity, которым мы проверяли источники.

Название клиента мы не раскрываем, поэтому препарат, площадки и медицинские подробности обобщены. Как мы собираем вопросы для мониторинга и считаем присутствие бренда в ответах, мы подробно описали в кейсе о лекарственном бренде, а чем упоминание отличается от рекомендации — в кейсе о B2B-сайте. Повторять это не будем. Здесь расскажем, как мы проверяли сами инструменты проверки и что стало с планом, когда дошло до внедрения.

Уточнили задачу и выбрали источники данных

Клиент — фармацевтический бренд в сегменте ОРВИ и гриппа. У препарата несколько лекарственных форм: для взрослых и для детей разного возраста. У бренда большой сайт: многолетний архив статей, раздел вопросов и ответов, промоматериалы и страницы инструкций. Задача звучала коротко: чтобы нейросети упоминали препарат.

С лекарством такая формулировка рискованна. Нейросеть может назвать бренд и при этом неверно передать противопоказание, перепутать состав детских форм или посоветовать препарат при заболевании, при котором он не показан. Поэтому мы искали ответы на четыре вопроса: где бренд появляется, насколько точно о нем рассказывают, на какие источники опираются ответы и может ли официальный сайт стать таким источником.

Данные собирали из нескольких независимых источников: ежемесячный мониторинг по фиксированному набору из 60 вопросов в сервисе Keys.so, диалоговые ответы ChatGPT, ответы Perplexity со ссылками на источники, выгрузка Keys.so по классической поисковой выдаче, сам сайт, официальные инструкции и клинические рекомендации. Цифры разных инструментов мы не складываем: у каждого свой набор запросов и способ подсчета.

Изучили, где нейросети упоминают бренд и откуда берут факты

Препарат стали реже предлагать как вариант лечения

В июле бренд появился в 23 ответах из 60, в августе — в 18. Чтобы понять, что стоит за этими цифрами, мы размечаем каждое упоминание по тональности:

• позитивное — препарат назван подходящим вариантом, включен в список решений или описан в благоприятном контексте;

• нейтральное — препарат упомянут без оценки и рекомендации;

• отрицательное — нейросеть отговаривает от препарата или предлагает вместо него что-то другое как более подходящее.

Нейтральных упоминаний почти столько же, сколько было в июле: нейросети по-прежнему знают препарат и рассказывают о нем как о справочном факте. Меньше стало ответов, где препарат предлагают как вариант лечения. Похоже, нейросетям стало труднее найти, за что его рекомендовать.

Оговоримся: числа здесь маленькие. Позитивных ответов в июле было четыре, в августе стал один. По двум замерам тренд не увидеть, и причину снижения мы не знаем: это может быть обновление модели, активность конкурентов или изменения на какой-то странице. Мы считаем эти цифры точкой отсчета для следующих ежемесячных замеров.

Частые рекомендации — сомнительная цель для лекарства

В B2B все понятно: чем чаще нейросеть предлагает бренд, тем лучше. С лекарствами так рассуждать нельзя. Во многих ответах препарата нет, потому что нейросеть ведет себя правильно, и записывать такие ответы в потери было бы ошибкой.

Поэтому мы оцениваем уместность присутствия. Бренд должен появляться в вопросах без его названия там, где это клинически корректно, и не появляться там, где правильный ответ — «обратитесь к врачу». Наращивать упоминания можно только точной и релевантной информацией, без ложных связей препарата с другими заболеваниями.

Охват сайта дают статьи о болезнях, при которых препарат не назначают

Поисковая база у сайта бренда большая: десятки тысяч запросов в выдаче и тысячи — в топ-10. Но эта сила распределена неравномерно, и на инфографике ниже видно, насколько. По запросам с названием бренда в топ-10 попадает 58% запросов, без названия — 7%, то есть примерно в восемь раз меньше. Медианная позиция по небрендовым запросам — 31, по брендовым — 8.

По запросам без названия бренда сайт попадает в топ-10 примерно в восемь раз реже, а самый большой охват собирают статьи о болезнях, при которых препарат не назначают

В целевой тематике — ОРВИ, простуда, грипп — сайт ранжируется по тысячам запросов, но в топ-10 из них попадает меньше десятой части. Интереснее, откуда берется остальная поисковая сила. Среди страниц с наибольшим числом запросов много статей об инфекциях и ЛОР-заболеваниях, при которых препарат не назначают: в инструкции их нет в списке показаний. Дальше в тексте мы называем такие темы темами вне показаний. Трафик они приносят, но связь бренда с его зарегистрированной ролью не укрепляют. А если в такой статье стоит продуктовый блок с препаратом, нейросеть может связать препарат с заболеванием, при котором его не назначают.

Мы предложили оставить полезные информационные статьи на эти темы и убрать из них продуктовые блоки. Часть охвата, которая сейчас выглядит удобной, бренд теряет — зато нейросети получают меньше поводов для ложных связей. Чтобы отделить материалы по целевой теме от остальных, мы разобрали 75 статей архива на релевантные темы и отдельно провели интентный анализ статей на нерелевантные.

О препарате рассказывают аптеки и справочники

В исследованной выборке ответов Perplexity официальный сайт бренда не стал основным источником даже в вопросах о составе и формах. Ответы собирались по аптечным карточкам, медицинским справочникам и коммерческим статьям, и одни и те же вторичные источники повторялись из ответа в ответ.

Официальные инструкции на сайте бренда при этом точнее многих из этих страниц. Вот что мы нашли на внешних площадках:

• карточку взрослой формы, в которую подставлена инструкция детской;

• общую страницу бренда в справочнике, где данные одной детской формы выданы за сведения обо всей линейке, включая возраст и противопоказание, которое касается только этой формы;

• справочник с редакцией инструкции многолетней давности и устаревшими реквизитами производителя;

• карточки со старым номером регистрационного удостоверения;

• страницу со старой формулировкой механизма действия, которую нейросеть легко прочитает шире, чем позволяет актуальная инструкция.

Дальше все устроено как в игре в испорченный телефон. Инструкция на сайте бренда верная, аптека переписала ее с ошибкой, поисковая система нашла аптечную страницу, а нейросеть пересказала то, что нашла. Эту цепочку мы показали на схеме ниже. Для ответа нейросети ошибка на крупной аптечной странице может весить больше, чем правильная формулировка на сайте бренда. Поэтому работа с внешними площадками — аптеками, справочниками, медицинскими медиа — стала в проекте отдельным направлением.

Медицина относится к YMYL-тематике: ошибка в ответе здесь может навредить здоровью, поэтому поисковые системы предъявляют к таким источникам повышенные требования к точности и экспертности. В октябре мы проверили, на какие сайты опираются ответы нейросетей на медицинские вопросы: задали 20 вопросов ChatGPT, Алисе и Google AI, каждый трижды, и разобрали 1 117 источников. Даже на вопросах, сформулированных так, чтобы подтолкнуть нейросеть к чужому опыту, форумы заняли всего 1,6–9,3% источников. В Алисе и Google AI около 70% источников — сайты клиник, аптек, магазинов и сервисов подбора, а ChatGPT примерно в 73% случаев ссылался на официальные и научные ресурсы. Подробности и методика — в исследовании Нейросети и личный опыт: как часто AI ссылается на форумы в медицине.

Инструкция на сайте бренда верная, но в ответ нейросети попадает пересказ с аптечной площадки

Перепроверили источники и оценки Perplexity

Каждую оценку Perplexity мы сверили вручную

Perplexity удобен для аудита: он показывает, на какие страницы опирается ответ, и может сам оценить, насколько источник надежен. Велико искушение поручить ему пройтись по внешним площадкам и составить список ошибок. Мы так и сделали. Perplexity по одному общему промпту оценил 11 источников: пять аптечных карточек, четыре страницы медицинских справочников, официальную страницу инструкции на сайте бренда и одну научную публикацию. Каждую его оценку мы сверили с самой страницей: открывали карточку, сравнивали с актуальной инструкцией, смотрели номер регистрационного удостоверения и год редакции.

Ошибочные выводы Perplexity мы оставили в рабочем реестре внешних источников вместе с результатами ручной проверки. По ним видно, где инструмент ошибается систематически.

Шесть оценок из 11 пришлось исправлять

С ручной проверкой полностью совпали две оценки из 11. Еще три оказались полезными предупреждениями: Perplexity указал на риск, хотя фактической ошибки на странице не было. Остальные шесть оценок пришлось исправлять, прежде чем вносить в реестр.

Работа с такими оценками похожа на поиск с металлоискателем. Прибор подсказывает, где копать, но что лежит в песке, становится ясно только после раскопок. Иногда он звенит над пустым местом, иногда молчит над находкой. Все 11 результатов — в таблице.

Ложное отрицание обходится дороже ложной тревоги

Эти две ошибки зеркальны: в первом случае нейросеть видит проблему, которой нет, во втором не видит той, что есть.

Ложная тревога. Perplexity пометил аптечную карточку как устаревшую: в поисковой выдаче у нее стояла дата 2021 года. Когда мы открыли страницу, оказалось, что инструкция там актуальная и формы разведены правильно. Скорее всего, Perplexity опирался на поисковый сниппет или старую версию страницы в индексе, а не на ее текущее содержимое. Если бы мы поверили ему, клиент отправил бы аптеке запрос на исправление того, что исправлять не нужно. Одна такая ошибка — потерянный час. Десяток — и реестр перестают воспринимать всерьез.

Ложное отрицание. С карточкой в медицинском справочнике вышло наоборот. Perplexity сравнил показания, состав и дозировки с инструкцией, нашел совпадение и назвал источник корректным. Номер регистрационного удостоверения в карточке он не проверил, а номер там старый. Значит, карточка относится к прежней версии документа, и полностью актуальной ее считать нельзя, даже если медицинский текст пока совпадает.

Почему вторая ошибка хуже первой? Ложную тревогу отсеет ручная проверка: мы откроем страницу и увидим, что все в порядке. А страницу, которую нейросеть сочла корректной, вручную обычно никто не открывает — проверка идет по тревогам. Ошибка, которую нейросеть пропустила, остается в выдаче и не попадает ни в один план работ. Поэтому при аудите стоит выборочно перепроверять и те источники, которые нейросеть назвала надежными.

Есть и третья закономерность: Perplexity часто замечает, что со страницей что-то не так, но не может сказать, что именно. Так было в трех случаях из 11 — в двух он ошибся с причиной, в одном недооценил тяжесть. Для фармы это существенно. Если на странице просто перепутаны формы, это одна задача. Если возраст и состав детской формы выданы за данные обо всей линейке, это задача с другим приоритетом. Три таких случая мы показали на инфографике ниже.

Если бы мы доверились Perplexity, одна площадка выпала бы из плана работ, а две ошибки получили бы неверное исправление или приоритет

Наш вывод: нейросеть хорошо подходит для первого прохода и быстро показывает, куда смотреть. Решение по каждому источнику должен принимать человек, который открыл страницу и сверил ее с первоисточником. Особенно когда нейросеть пишет, что проверять там нечего.

Сайт бренда сам смешивает уровни доказательств

Ошибаются и на собственном сайте бренда. На нем опубликованы официальные инструкции, ссылки на клинические рекомендации, исследования, экспертная резолюция, лабораторные данные и потребительский опрос. Человек, скорее всего, отличит одно от другого. Нейросеть справляется с этим хуже.

Мы разложили публичные доказательства по уровням — от самого надежного к наименее надежному:

1. Инструкция — зарегистрированные факты: состав, формы, показания, противопоказания.

2. Клинические рекомендации — упоминают фармакотерапевтический класс препарата, сам бренд в них не назван. Писать, что рекомендации «рекомендуют препарат», нельзя.

3. Клинические исследования — о них нейросеть сразу спрашивает: сколько участников, какой дизайн, кто финансировал.

4. Обзоры — выводы автора, которые не равны позиции регулятора.

5. Экспертная резолюция — допустимый уровень, но выдавать ее за независимый консенсус нельзя.

6. Лабораторные данные — в том числе по вирусу, который не входит в показания. Без явной пометки нейросеть может принять их за данные о клинической эффективности.

7. Потребительский опрос — полезен как данные об опыте и отношении покупателей. Доказательством эффективности он не является.

Проблемы начинаются, когда разные уровни оказываются в одном тексте без пометок. Например, в промоматериале результаты потребительского опроса опубликованы в одном блоке с медицинскими тезисами, и нейросеть может прочитать маркетинговую формулировку шире, чем ее задумали. Короткие ответы в разделе вопросов и ответов нейросети удобно цитировать, поэтому неточная фраза оттуда быстро становится «готовым фактом». Устаревшие статьи архива местами расходились с актуальной инструкцией и соперничали с ней в поиске.

На инфографике ниже отмечены три уровня, которые нейросеть может принять за более сильные доказательства, чем они есть.

Упоминание класса в рекомендациях, лабораторные данные и мнение покупателей нейросеть может прочитать как более сильные доказательства, чем они есть

Согласовали факты с клиентом

Все правки на сайте и внешних площадках опираются на факт-матрицу — единый список проверенных сведений о препарате. Для каждого факта в ней записаны значение, первоисточник, рекомендуемая публичная формулировка, что недопустимо и что нужно сделать. Эти формулировки обязательны для главной страницы, статей, раздела вопросов и ответов и внешних карточек. Подробнее о том, как устроена такая матрица, — в статье Контентная гигиена для AI-ответов. Вот три обезличенные строки из нашей:

17 фактов из 20 клиент подтвердил сразу

В матрице 20 позиций, и 17 из них клиент подтвердил без правок: формы и возраст, показания, схемы лечения и профилактики, противопоказания, взаимодействия с другими препаратами, состав детских форм. По трем позициям — о маркетинговых обещаниях, сравнениях препаратов и измерении результата — обсуждение продолжается.

По трем вопросам нашли компромисс

• Механизм действия. Уточняющая формулировка о характере действия препарата появляется на всех страницах сайта, кроме цитат экспертов и отзывов покупателей.

• Лабораторные данные. Тип исследования помечаем в доказательном разделе сайта, отдельный дисклеймер клиент добавлять не стал.

• Главная страница. О ней мы спорили дольше всего.

На главную страницу идет рекламный трафик, поэтому клиенту важно, чтобы там был маркетинговый текст. Нам — чтобы там было нейтральное описание препарата, которое нейросеть прочитает однозначно. Можно было уступить: главная — территория маркетинга. Но именно главную нейросеть скорее всего возьмет как официальный источник. Мы предложили разделить страницу на части: короткий фактологический блок с формулировкой из факт-матрицы, ссылки на инструкции по каждой форме на видном месте и отдельно рекламный блок.

Согласиться с клиентом было бы проще. Но тогда через полгода нейросети по-прежнему брали бы с главной рекламные обещания, и работа с внешними площадками во многом потеряла бы смысл.

Решение по маркетинговым материалам осталось за брендом

Часть маркетинговых материалов клиент оставил без изменений. Мы описали, чем они рискованны для ответов нейросетей, и предложили, как отделить опыт покупателей от доказательств эффективности, а решение принимает бренд. Мы считаем это нормальным разделением ответственности: агентство показывает риск и предлагает формулировку, бренд решает, что публиковать.

Передали внешние площадки в работу

Роли распределили заранее: агентство находит внешние площадки с ошибками и расставляет приоритеты, клиент связывается с владельцами площадок, передает актуальные документы и отмечает в реестре статус. В реестре 27 позиций: каждая позиция — одна площадка или один материал с найденной проблемой. Позиции делятся на две группы, и судьба у них оказалась разной.

Так выглядит работа с внешними площадками на практике: отвечают они медленно, часть исправлений стоит денег, а на некоторые ресурсы бренд повлиять не может вообще. Как выбирать площадки и подтверждать факты, мы писали в статье Внешние источники в AI-поиске.

На научные публикации бренд повлиять не может

Это наблюдение пригодится и в других проектах. С ошибкой факта в аптечной карточке или справочнике все понятно: есть к кому обратиться и что исправить. С научными и экспертными публикациями сложнее. Бренд не размещал там маркетинговых тезисов и не влияет на политику этих ресурсов, а статьи прошли редакцию журналов, поэтому изменить их обычно нельзя.

При этом нейросети такие источники все равно используют, и исследование по вирусу вне показаний может попасть в ответ как аргумент в пользу эффективности препарата. Поэтому мы оставили эти девять позиций в реестре с пометкой: источник влияет на ответы нейросетей, даже если бренд его не контролирует. Что делать с такими источниками, стоит обсудить с клиентом на старте проекта — до первой сверки.

Составили план на год

Стратегия рассчитана на 12 месяцев, и порядок работ в ней важен:

1. Утвердить факт-матрицу.

2. Привести в порядок собственные источники: главную страницу, раздел вопросов и ответов, материалы о группах риска, старые статьи о лечении и профилактике, продуктовые блоки в статьях вне показаний.

3. Провести полный технический аудит сайта: 18 групп проверок, от правил обхода для поисковых и AI-ботов до серверной отдачи, структурированных данных, дат обновления и медицинского рецензирования. Подробнее о таких проверках — в статье Как открыть сайт для AI.

4. Пересобрать опорные страницы: нейтральная главная, отдельная инструкция для каждой формы, страница сравнения форм, доказательный раздел, где у каждого исследования указан его тип.

5. Расширять релевантный спрос: писать новые статьи и глубоко перерабатывать существующие.

6. Параллельно — синхронизировать внешние площадки и делать ежемесячные замеры.

В карте реализации больше 20 приоритетных адресов сайта. Для каждого указаны роль страницы, проблема, нужные изменения и связанные материалы. Очередность определяют риск и потенциал: сначала страницы с медицинскими противоречиями и рисками применения вне показаний, затем сильные страницы, которые уже близки к топу выдачи, затем релевантные темы, где позиции пока слабые.

Новые статьи нужны, потому что архив написан о другом

В кейсе о B2B-сайте мы писали, что закладываем не больше одной новой страницы в месяц. Здесь — пять новых статей и пять глубоких оптимизаций старых ежемесячно. Логика та же, отличаются исходные данные.

У B2B-клиента был большой архив по теме продукта, поэтому основной объем работ там — доработка существующих страниц. Здесь архив тоже большой, но значительная его часть посвящена темам вне показаний. Целевые темы раскрыты слабо: первые симптомы, разница между ОРВИ и гриппом, детские сценарии по возрасту, профилактика, группы риска и границы самолечения, разные классы лекарств. Правило при этом действует то же: если задачу пользователя уже решает существующая страница, новую не создаем, а тему отдаем в оптимизацию. Резерв из 60 тем на год нужен, чтобы видеть объем работ. Выпускать все 60 статей по заранее зафиксированному списку мы не собираемся.

Выбрали метрики для оценки результата

По одному проценту видимости о фармбренде мало что можно сказать. Мы следим за пятью показателями, и часть из них зависит только от действий команды — по ним цели можно ставить сразу. О разнице между такими метриками мы писали в статье Как ставить KPI в GEO.

Срез ответов нейросетей снимаем раз в месяц, полный повторный аудит — в декабре. После правок критичных фактов проверяем ответы нейросетей сразу. Как отличить эффект работ от случайного колебания ответов, мы разобрали в статье Как проверять гипотезы в GEO.

Часть выводов пока не доказана

• Почему в августе бренд стали упоминать реже. Данных мониторинга для такого вывода недостаточно.

• Использует ли Perplexity официальный сайт хоть иногда. Пока можно сказать только, что устойчивым источником сайт не стал.

• Какой эффект дадут правки. Это покажут повторные замеры по той же методике.

Одно мы знаем точно: упоминание класса препарата в клинических рекомендациях нельзя выдавать за рекомендацию бренда. Так мы не напишем ни на сайте клиента, ни в кейсе.

К результатам мы вернемся после декабрьского аудита.

Сформулировали выводы для других брендов

Эти выводы касаются не только фармы:

• Смотрите, уместно ли упоминание. Для некоторых товаров и услуг отсутствие в ответе нейросети — нормальная ситуация.

• Перепроверяйте AI-оценку источников вручную. Особенно вывод «тут все в порядке»: пропущенную проблему потом никто не станет искать. Ложную тревогу отсеет первая же проверка.

• Держите одну версию фактов и согласуйте ее с теми, кто отвечает за точность, до того как править сайт.

• Разделяйте уровни доказательств на сайте. Если инструкция и отзыв оформлены одинаково и без пометок, нейросеть может их перепутать.

• Заранее решите, какие внешние площадки вы готовы исправлять, а на какие повлиять не сможете и как тогда снижать риск.

• Проверяйте и собственные выводы. Если вы не нашли страницу в выдаче, это еще не значит, что ее нет.

FAQ

Можно ли поручить нейросети аудит внешних источников?

Для первого прохода можно: она быстро покажет, на какие страницы смотреть. Окончательное решение лучше оставить человеку. В нашей проверке шесть оценок Perplexity из 11 пришлось исправлять. Труднее всего заметить случаи, когда нейросеть называет проблемный источник корректным, — их вручную обычно не перепроверяют.

Почему бренду лекарства мало просто попадать в ответы нейросетей?

Потому что вместе с упоминанием в ответ может попасть ошибка в противопоказании, возрасте или составе. Для лекарства точность важнее частоты упоминаний. А часть ответов, где препарата нет, — это корректное поведение нейросети.

Что делать, если внешняя площадка не исправляет ошибку?

Зафиксировать расхождение в реестре, повторить запрос, узнать, нет ли платного или редакционного способа обновить данные, и усилить официальный источник, чтобы актуальная информация на сайте бренда была заметнее и понятнее для нейросетей. Если площадка бренду неподконтрольна, полезно хотя бы знать, какие сведения с нее попадают в ответы.

Когда ждать результатов?

Первые месяцы уходят на факт-матрицу, правку собственных источников и технический аудит. Повторный полный аудит запланирован на декабрь. Раньше оценивать эффект по ответам нейросетей рискованно: изменения на сайте и внешних площадках доходят до систем ответов с задержкой.

Читайте также:

Кейс: как GEO-аудит помог найти ошибки в ответах о лекарственном бренде

Нейросети и личный опыт: как часто AI ссылается на форумы в медицине

Стратегия AI-видимости: как связать бизнес-задачи, факты о бренде и потребности клиента