Почему не стоит измерять NPS I

Ну конкретно тебе возможно надо, но есть более репрезентативные и чувствительные к изменениям метрики . Пару месяцев назад вышло интервью Михаила Ломтатдзе, где он среди прочего рассказывал про погружение в продуктовую разработку и в частности в расчеты метрики NPS.

И через пару дней в казахстанской части linkedin появилось море постов про важность метрики NPS, как часто считают и вообще как круто это отслеживать. Но у этой метрики есть очевидные минусы, про которые я хочу рассказать ниже. Также поделиться ТОП-3 метриками, которые лучше помогут оценить отношения клиентов к вашему продукту.

Несмотря на популярность метрики NPS (Net Promoter Score), она имеет кучу недостатков, особенно в контексте статистической значимости и иррационального поведения пользователей. Рассмотрим их ниже:

. Проблемы с статистической значимостью: Субъективность оценок: ответы на вопрос NPS основаны на субъективных ощущениях пользователей, которые могут меняться в зависимости от настроения или внешних факторов. Оценка "вероятности рекомендации" не отражает реальную лояльность, это снижает точность данных. Низкая точность в малых выборках: для получения значимых результатов требуется большая выборка, чтобы нивелировать эффект случайных колебаний в ответах. В небольших выборках метрика может показывать искаженные результаты. Деление пользователей на три группы: разделение пользователей на детректоров, нейтралов и промоутеров является искусственным и упрощенным. Например, пользователь, оценивший продукт на 6, может быть ближе к нейтральному, чем к детректору, но будет отнесен к категории недовольных. Ограниченная шкала: шкала от 0 до 10 может сглаживать различия между юзерами.. К примеру, разница между 7 и 8 не так велика, но оба этих значения попадают в категорию нейтралов, что теряет нюансы пользовательских оценок.

1. Иррациональность поведения пользователей:

Поведенческие нестыковки: пользователи могут давать высокие оценки (9–10) по NPS, но при этом фактически не рекомендовать продукт или не быть лояльными. Это может происходить по разным причинам, включая социальное давление, привычку или одноразовый положительный опыт. Наоборот, пользователи, давшие низкие оценки, могут продолжать пользоваться продуктом и быть довольно активными. Влияние ситуативных факторов: внешние факторы, такие как недавний баг в продукте или раздражающая реклама, могут сильно повлиять на оценку, даже если в целом юзер удовлетворен продуктом. Это делает результаты NPS менее репрезентативным и может приводить к искажению общей картины

1. Упрощенность метрики:

Ограниченность контекста: NPS измеряет только один аспект пользовательского опыта — готовность рекомендовать. Но это не отражает других важных факторов, таких как удовлетворенность, функциональность, качество сервиса и т.д. Игнорирование причин: NPS не дает понимания причин, по которым пользователи дают те или иные оценки. Без дополнительного качественного исследования сложно понять, почему определенные группы пользователей относятся к продукту негативно или позитивно.