К содержанию

Основные метрики

Шесть чисел, на которых держится вся аналитика. Здесь — как они соотносятся друг с другом и что с чем можно сравнивать; подробности — на отдельных страницах.

Содержание страницы

Метрики платформы

МетрикаОтвечает на вопросКуда стремиться
ВидимостьКак часто нас вообще называютВверх
Доля голосаСколько внимания досталось нам, а сколько конкурентамВверх
Тон ответовХвалят или ругаютВверх, в плюс
ПозицияКаким по счёту нас называют внутри ответаВниз, к единице
В топ-3 ответаКогда нас называют — как часто в первой тройкеВверх
T-scoreСтало в целом лучше или хужеВверх

Первые пять измеряются напрямую из ответов нейросетей. T-score считается из видимости, тона и средней позиции и нужен только для динамики. Подробности — на страницах ниже в меню; «В топ-3 ответа» разобрана на странице «Позиция».

Как читать их вместе

По отдельности любая метрика вводит в заблуждение. Смысл появляется в сочетаниях.

СочетаниеЧто это значит
Видимость низкая, позиция хорошаяБренд знают в узком круге вопросов, но в общий выбор он не попадает
Видимость высокая, позиция плохаяВас называют часто, но как запасной вариант
Видимость растёт, доля голоса падаетРынок в ответах расширился: модели называют больше брендов, чем раньше
Видимость растёт, тон падаетОпасное сочетание: чаще показывают именно то, за что критикуют
Всё стоит, T-score дрогнулСкорее всего, позиция перешла через ступень шкалы — проверьте её отдельно

Что с чем можно сравнивать

  • Два прогона одного проекта на одном пуле — да. Это основной способ увидеть эффект.
  • Прогоны до и после правки пула запросов — нет. Такая точка помечается на графике: изменилась база измерения.
  • Разные срезы одного проекта между собой — нет: у них разные вопросы и разный состав брендов в ответах.
  • Два разных проекта по абсолютным упоминаниям — нет, размеры пулов разные. По процентам — с оговорками и только на одном и том же срезе рынка.
  • Одна нейросеть с ней же во времени — да. Разные модели между собой — только качественно.
Шум между прогонами

Ответы нейросетей плавают от запроса к запросу. Разница в пару процентных пунктов между соседними прогонами может быть просто колебанием ответов, а не результатом работы.