Как измерить присутствие бренда в ответах ИИ: показатели и методика проверки

Присутствие бренда в ответах искусственного интеллекта измеряют по тому, как часто сервисы вроде ChatGPT называют компанию, рекомендуют ее и ссылаются на ее сайт. Для проверки нужен набор вопросов клиентов, повторные обращения к выбранным нейросетям и сохраненные ответы. Результаты сравнивают при одинаковых условиях: один удачный ответ еще не показывает, насколько заметен бренд.

Такую проверку проводят не ради абстрактного рейтинга. Она помогает понять, встречает ли потенциальный клиент вашу компанию при выборе услуги, правильно ли ИИ ее описывает и какие источники использует. Чтобы выводы были полезными, сначала нужно определить задачу, затем собрать данные и только после этого считать показатели.

Что такое видимость бренда в нейросетях и зачем ее измерять?

Например, покупатель может попросить подобрать подрядчика для внедрения программы, в которой компания ведет клиентскую базу и продажи. Если нейросеть предлагает несколько исполнителей, бизнесу полезно знать, входит ли он в этот список. При этом простого появления названия недостаточно: сервис может рекомендовать компанию, критиковать ее или только привести как пример.

Проверенный набор ответов называют выборкой. По нему рассчитывают AI visibility — видимость в ИИ. Нельзя получить достоверный «процент присутствия во всех нейросетях», проверив несколько удобных вопросов в одном сервисе.

До начала работы определите, что хотите узнать: замечают ли компанию при выборе услуги, правильно ли описывают ее возможности или используют ли сайт как источник. Укажите направления бизнеса, аудиторию и регионы. Проверка одной услуги в одном городе не описывает весь бизнес. Такой анализ дополняет другие инструменты управления репутацией, но сам по себе не доказывает обращения и продажи.

Какие показатели использовать для оценки присутствия бренда в ответах ИИ?

Упоминание означает, что ИИ назвал компанию, рекомендация — что он предложил рассмотреть ее для задачи пользователя, цитирование сайта означает видимую ссылку на страницу собственного сайта бренда. Ссылка на сторонний обзор несколько отличается от всего этого: компания может присутствовать в ответе, но ее сайт не будет источником этой ссылки.

Сначала составьте словарь, состоящий из вариантов названия компании, сокращения, латинское написание и согласованные названия продуктов. Отдельно запишите исключения. Одноименную организацию или продукт другого участника группы нельзя автоматически засчитывать вашему бренду. Затем отмечайте признаки в каждом ответе — этот процесс называется разметкой.

Доля упоминаний = число ответов с брендом / общее число полученных ответов × 100%.

В этой методике одну компанию учитывают один раз в каждом ответе, даже если название повторилось. Для доли голоса применяют то же правило ко всем участникам заранее выбранного списка. Если число, на которое делят, равно нулю, долю не рассчитывают. Например, доля голоса не определяется, если ни одна компания из списка не встретилась в ответах.

Рекомендацию определяйте по смыслу. Простое перечисление участников рынка не обязательно является советом; предложение рассмотреть компанию под задачу пользователя может быть рекомендацией и без слова «рекомендую». Позицию отмечайте только в явном списке вариантов, а не по месту названия в обычном абзаце.

Тон и точность не объединяйте. Положительный ответ может неверно описывать услугу, а критический — точно передавать источник. Для смешанной оценки сохраните конкретные фрагменты: одна похвала в начале не делает весь ответ положительным.

Ответ без компании участвует в расчете доли упоминаний. Неудавшуюся попытку учитывают отдельно как пропуск.

Как собрать запросы для проверки видимости бренда в нейросетях?

Запросы для проверки видимости бренда в нейросетях должны отражать задачи клиентов: узнать о компании, выбрать исполнителя или сравнить варианты. Вопросы с названием бренда проверяют его описание, а вопросы без названия — способность ИИ предложить компанию самостоятельно. Эти группы нужно считать отдельно, иначе частые упоминания в ответах на прямые вопросы создадут обманчиво высокий общий результат.

Для первого теста можно взять 20–30 запросов. Это рабочий ориентир, не статистический стандарт. Распределите вопросы по услугам и задачам: десяток похожих формулировок об одном направлении даст ему больший вес, чем единственный вопрос о другом.

Перед проверкой посмотрите на набор целиком:

1. Представлены ли приоритетные услуги и реальные задачи выбора?

2. Разделены ли вопросы с названием компании и без него?

3. Учтены ли нужные отрасли, бюджеты и ограничения клиента?

4. Не получила ли одна тема слишком большой вес из-за повторяющихся формулировок?

5. Совпадает ли география вопросов с территорией работы компании?

Сохраните базовый список. Новые вопросы добавляйте отдельно, чтобы позднее можно было повторить прежний тест. Для регионального бизнеса записывайте и город в тексте запроса, и регион в настройках сервиса: это разные условия проверки.

Как проверить упоминания компании в ChatGPT и других ИИ?

Проверять упоминания бренда в ChatGPT и других ИИ нужно по постоянному списку вопросов, с повторениями и сохранением полных ответов. До начала запишите сервис, режим поиска, язык и регион. Каждую систему считайте отдельно. Полученный ответ без компании означает отсутствие упоминания, а технический сбой без ответа — пропуск, который нельзя превращать в отрицательный результат.

Нейросеть может отвечать на один вопрос по-разному. Эта особенность отмечена в рекомендациях OpenAI по оценке моделей, поэтому единичной проверки недостаточно. Один проход по выбранному набору вопросов будем называть прогоном. Повторы помогают проверить, сохраняется ли наблюдение или бренд появился только в одном удачном ответе.

Проверку можно организовать следующим образом:

1. Выберите сервисы, которыми пользуется аудитория, например ChatGPT, Алису, Perplexity или Gemini. Запишите продукт, доступное название модели, режим поиска, язык и регион.

2. Задавайте вопросы в новых диалогах. Отметьте настройки памяти и персонализации: новый чат сам по себе не гарантирует, что сервис перестал учитывать ранее сохраненные сведения.

3. Повторите запрос несколько раз. Практический вариант для старта — три отдельных прогона; каждый ответ сохраните отдельно, не заменяя им предыдущий.

4. Запишите дату, точный запрос, полный ответ и видимые ссылки. Отметьте упоминание, рекомендацию, тон и ошибки по заранее принятым правилам.

5. Сверьте журнал с планом. Покажите, сколько ответов получено и сколько попыток не состоялось, затем рассчитывайте показатели по соответствующим группам.

Если используете программный доступ к сервису, то есть API, учитывайте такие проверки отдельно от вопросов в пользовательском чате. Это разные условия. В документации программного веб-поиска OpenAI видимые цитаты отличаются от полного списка источников; в своем отчете укажите, какой набор ссылок вам действительно доступен.

Каждому вопросу присвойте постоянный номер. Свяжите с ним систему, дату и номер прогона, чтобы различать повтор и новый вопрос. Полный ответ нужен для проверки разметки: короткая пометка аналитика не позволяет восстановить контекст рекомендации или источник ошибки.

До обработки всей выборки разберите несколько ответов вместе с участниками проверки. Если правило учета изменилось в процессе, пересмотрите уже отмеченные ответы. При автоматической разметке спорные случаи также проверяйте вручную. Общий результат нескольких систем показывайте только с их составом и сопоставимым числом проверок, иначе одна система получит непропорционально большой вес.

Повторы проводят в сопоставимых условиях, а исходные ответы сохраняют для проверки выводов.

Как сравнить видимость бренда с конкурентами?

Ниже приведены учебные данные, а не результаты реального аудита. А и Б — условные конкуренты. Все три ответа относятся к одной системе, режиму и дате; каждый вопрос связан с выбором исполнителя. CRM-интеграторы — компании, которые внедряют и настраивают такие программы.

В примере наш бренд назван в двух ответах из трех. Доля упоминаний составляет 2 / 3 × 100% ≈ 66,7%. Рекомендация есть только в одном ответе, поэтому доля рекомендаций — 1 / 3 × 100% ≈ 33,3%.

Для доли голоса считаем компании: у нашего бренда два учитываемых упоминания, у А — два, у Б — два. Всего шесть. Доля нашего бренда равна 2 / 6 × 100% ≈ 33,3%. Повтор названия внутри ответа не добавляет еще одного упоминания. Отрицательное описание тоже засчитывается как присутствие, а его тон отмечается отдельно.

В рабочий отчет включают все полученные ответы и повторы. Не меняйте состав конкурентов ради красивого процента: если убрать часто упоминаемую компанию, доля голоса остальных вырастет без новых появлений. Новых участников можно изучить отдельно, сохранив прежний список для сравнения.

Дополните итог разбором услуг и клиентских задач. Компания может чаще появляться в общих подборках, но уступать по вашей приоритетной специализации. Ссылки в ответах помогут выбрать материалы для дальнейшей проверки, однако не докажут сами по себе, почему ИИ рекомендовал конкурента.

Как отслеживать динамику AI-видимости и интерпретировать изменения?

• Динамику видимости бренда в нейросетях оценивают повторением того же теста через выбранный интервал, например ежемесячно. Сравнивайте одинаковые вопросы, системы и режимы, показывая число ответов и пропусков рядом с процентами. Рост показателя еще не доказывает влияние продвижения: сначала проверьте, не изменились ли состав выборки, настройки или доступная версия модели.

• Сохраняйте в журнале даты новых публикаций, изменений сайта и настроек теста. Один ответ заметно влияет на процент в небольшой выборке, поэтому сначала проверьте повторяемость результата. Такой учет дополняет обычный мониторинг репутации: важно видеть не только оценку компании, но и условия, в которых она появилась.

• Если часть вопросов осталась без ответов, сравнение относится уже к другой выборке. Дополнительно можно рассчитать показатели только по вопросам, для которых данные есть в обоих периодах. В отчете укажите, какие проверки выпали и насколько сократилась база, а доступность сервиса оцените отдельно от присутствия бренда.

• При смене модели или режима оставьте заметную пометку. Если прежние условия больше нельзя повторить, начните новую серию, сохранив историю старой. Не объединяйте результаты на графике так, будто процедура не менялась.

«Рост доли упоминаний еще не говорит, что продвижение сработало. Сначала сравните вопросы, режим поиска и состав систем в двух проверках. Если условия изменились, причина роста может быть в самом тесте. Поэтому рядом с процентом в отчете должны быть выборка и сохраненные ответы».

Юлия Мосцевая, исполнительный директор и руководитель отдела репутационного маркетинга ВАЛС Диджитал.

Какие действия предпринять после аудита видимости в нейросетях?

Если компанию редко предлагают по нужной услуге, проверьте, понятны ли ее специализация и условия работы на сайте и внешних площадках. При редких ссылках сравните содержание своего сайта с материалами, которые сервис цитирует. Если ИИ неверно описывает услугу или регион работы, откройте источники и сопоставьте факты — это отдельная задача, а не еще один подсчет упоминаний.

Отдавайте приоритет проблемам, которые повторяются и мешают выбору клиента. Для каждой задачи запишите ответственного, ресурс для изменения, дату и способ проверки. Не перестраивайте весь сайт из-за одного ответа; после исправления конкретного факта проверьте именно его, а после работы над услугой повторите относящуюся к ней группу вопросов.

Такие задачи можно включить в стратегию управления репутацией. ВАЛС Диджитал поможет с GEO-продвижением, то есть работой над видимостью сайта в нейросетях и рассмотрит ошибочные и негативные описания в рамках управления репутацией в ИИ-выдаче. Решения принимаются по проверенным проблемам, а не по обещанию гарантированного роста всех показателей.