Эксперимент с пользователями

Как правильно проводить эксперимент зная только о 5.26% пользователей?

Предположим, вам нужно опросить пользователей вашего продукта о новой фиче и выдвинуть гипотезу понравилась фича или нет. И мы хотим, чтобы результат был верен для всех пользователей вашего продукта. Как вы и поняли, опросить всех пользователей нелегкая задача, также найдутся те, кто проигнорирует просьбу дать обратную связь (плавали, знаем).

Поэтому, часто для исследования мы берем небольшую часть пользователей - выборку. А совокупность всех пользователей - это генеральная выборка.

Генеральная совокупность - совокупность всех пользователей относительно которых мы хотим выдвинуть гипотезу.

Выборка - часть генеральной совокупности, на которой мы проводим исследования с целью подтвердить или опровергнуть гипотезу.

Собственно, все гипотезы проверяются относительно на небольшой выборке и затем полученные выводы мы экстраполируем на генеральную выборку. Но чтобы обобщать результаты исследования на всех пользователей, выборка должна соответствовать двум параметрам:

1. Репрезентативность выборки - это значит вы должны отбирать выборку так, чтобы она по характеристикам соответствовала генеральной совокупности. Тут могут быть как соц., дем. особенности, такие как город, гендер, возраст, так и другие характеристики.

1. Рандомизация выборки. Ваша выборка должна состоять из пользователей выбранных случайным образом. Для этих цели проще всего использовать онлайн калькуляторы.

Теперь к сути, как определить оптимальный объем выборки? Если нас интересует только два параметра: ‘нравится’ или ‘не нравится’, можно поступить следующим образом.

При помощи калькулятора задаем основные параметры для выборки:

• Объем генеральной совокупности;
• Доля положительных случаев;
• Доверительный интервал;
• Доверительная вероятность;

С первым пунктом все понятно, это сумма всех пользователей. Но связь между генеральной и выборкой нелинейная. Например, чтобы опросить всех граждан Казахстана хватит 384 жителей страны.

Доля положительных случаев, просто ставим 50% так-как мы не знаем значение этой переменной.

Доверительный интервал - показывает какие различия между выборкой и генеральной допустимы. К примеру, если доверительный интервал 5%, и по итогам эксперимента, фича нравится 77% юзеров, мы обобщаем этот результат на всю базу пользователей в диапазоне 72% и 82%. Доверительная вероятность - вероятность того, что оценка по выборке не выйдет за пределы доверительного интервала. Проще говоря, ваша уверенность в дов. интервале. Чем выше этот показатель, тем выше должна быть выборка.

Давайте проведем мысленный эксперимент для определения оптимальной выборки на которой можно проверить нашу гипотезу.

• Объем генеральной совокупности - 12 000 пользователей;
• Доверительный интервал - 5%;
• Доверительная вероятность - 99%;

Тогда, учитывая что у нас 12к пользователей, нам будет достаточно опросить 631 пользователя, чтобы получить достоверный результат. Это 5.26% от всей выборки.