Как ответ нейросети превращается в цифры
Путь одного ответа от вопроса до графика: проверка ответа, поиск и очистка брендов, позиция, тон, источники и факты — и что из этого можно поправить самому.
Содержание страницы
Путь одного ответа
Каждая цифра в кабинете собрана из живых ответов нейросетей. Ниже — что происходит с одним ответом между вопросом и графиком.
- Вопрос и ответ
Запрос из пула задаётся каждой модели мониторинга в одинаковых условиях: без истории переписки и личных настроек аккаунта. Ответ сохраняется целиком — его можно прочитать в разделе «Промты».
- Проверка, состоялся ли ответ
Пустой ответ, отказ вида «нет информации» и текст, оборванный на полуслове, не засчитываются как ответ без вашего бренда: они выпадают из расчёта. Иначе сбой модели выглядел бы как падение видимости.
- Поиск брендов
Из текста извлекаются все названные бренды и порядок, в котором каждый упомянут впервые. Номера пунктов, которые модель напечатала сама, не учитываются: одни модели нумеруют списки, другие нет, а порядок упоминания в тексте сопоставим всегда.
- Очистка
Отдельная модель убирает то, что приняли за бренд по ошибке, — обрывки слов, названия категорий, случайные сочетания. Варианты написания и товарные линейки одного бренда сводятся в одну строку.
- Тон
Для каждой пары «ответ и бренд» определяется, хвалят бренд, упоминают нейтрально или критикуют. Вердикт не держится на одном мнении: оценки повторных ответов сверяются между собой, спорные случаи перечитывает вторая модель, а если и она не согласна — решает третья.
- Источники
Собираются ссылки, которые модель приложила к ответу, и сайты, названные в тексте. Каждому домену присваивается тип площадки. Если модель в этом ответе не обращалась к интернету, ссылок у ответа нет — это не ошибка.
- Факты
Из ответов, где назван ваш бренд, извлекаются утверждения о компании. Они сверяются с вашим сайтом и с вашими пометками в разделе «Факты бренда».
- Сводка
Из разобранных ответов считаются метрики по каждой модели и каждому срезу рынка: видимость, позиция, тон, доля голоса, цитирования. Как устроена каждая метрика — на страницах раздела «Основные метрики».
Правила счёта
| Правило | Зачем оно |
|---|---|
| Бренд в одном ответе засчитывается один раз | Иначе бренд, названный в ответе трижды или в нескольких написаниях, получал бы видимость больше, чем было ответов |
| Позиция — порядок первого упоминания в тексте | Модели по-разному оформляют списки, а порядок упоминания сопоставим между ними |
| Варианты написания и линейки сведены к бренду | Иначе видимость бренда делится между его же вариантами |
| Несостоявшийся ответ не равен нулю | Сбой или отказ модели не должен выглядеть как «вас не называют» |
| Тон не ставится по одному мнению | Одиночная оценка ошибается чаще; порядок брендов при оценке меняется, чтобы не подыгрывать первому в списке |
Что можете поправить вы
Автоматический разбор ошибается там, где без знания рынка не обойтись: омонимы, дочерние марки, похожие названия. Такие места правятся в справочнике брендов — кнопка «Уточнить бренды и синонимы» на странице мониторинга.
- Добавить вариант написания: разные написания одного бренда станут одной строкой.
- Отметить «не бренд»: обычное слово, категорию товаров, название магазина вместо марки.
- Убрать лишнее из списка брендов проекта.
После сохранения справочника проект пересобирается из уже собранных ответов: нейросети заново не опрашиваются, лимит обновлений не расходуется.
Чего разбор не делает
- Не проверяет, правду ли пишет нейросеть, — кроме фактов, которые вы разметили в «Фактах бренда».
- Не воспроизводит то, что увидит конкретный человек в своём аккаунте, — об этом страница «Почему нейросеть отвечает по-разному».
- Не делает выводов по одному ответу: каждая метрика собрана из многих ответов, а выводы о динамике — из нескольких прогонов.