Опрос: путь от определения задачи опроса и составления анкеты до анализа результатов

Опрос

Решаемые задачи и самые необходимые знания о методе.

Опрос поможет:

Проверить ваши идеи и гипотезы. Отобрать перспективные.
Приоритизировать идеи.
Выбрать лучший вариант реализации.
Измерить результат продукта или рекламы.
Определить зоны для улучшений, доработки.

Определите задачи опроса

Четко определите, какую задачу вы решаете, и какое решение вам нужно принять. Для этого определите этап цикла «Идея — Проверка — Разработка — Оценка», на котором вы находитесь. Опрос может быть эффективным методом исследования на всех этапах, кроме поиска идей (там могут помочь наблюдение и интервью).

Определите целевую аудиторию

Целевая аудитория вашего продукта — это все потенциальные пользователи, кому хотя бы теоретически он нужен, и кто физически может им воспользоваться. Прочитайте, почему важно смотреть на целевую аудиторию широко.

Опишите вашу ЦА в терминах:
— Демографии.
— Географии.
— Наличия целевой потребности.

Демография важна для последующего поиска респондентов. Также известно, что она сильно влияет на предпочтения :). География — ваш целевой рынок. Если вы работаете на разные страны, всегда тестируйте в каждой стране отдельно, т.к. рыночная ситуация сильно меняется от страны к стране. Наличие потребности можно определить, либо прямым вопросом «за последние ХХ возникала ли у вас потребность ХХХ», либо через поведение «делали ли вы ХХ за последние ХХ».

Например, вы делаете приложение для подбора рецептов в зависимости от того, что завалялось в домашнем холодильнике. Ваш рынок — РФ. Тогда описание вашей целевой аудитории может выглядеть следующим образом:
— МЖ 20−50.
— Россия, города с населением 1М+.
— За последний месяц готовили дома.

Если вы опрашиваете своих текущих пользователей, дополнительно ограничивать, как правило, ЦА не нужно. Однако вы можете захотеть отобрать каких-то особенных пользователей. Например, отдельно опросить «тяжелых» пользователей вашего продукта, чтобы уточнить их портрет и предпочтения. Или наоборот опросить «ушедших» пользователей, чтобы понять, почему они перестали пользоваться вашим продуктом.

Определите критерии принятия решения (= главные вопросы опроса)

Опрос — это про цифры и про принятие решений на их основе. Чтобы принимать решения на основе цифр, у вас должны быть сформулированы критерии принятия решений, опирающиеся на эти цифры.

Примеры критериев и соответствующих вопросов анкеты в зависимости от решаемой задачи:

ПРОВЕРКА

Проверить идеи и отобрать перспективные
Беру идею в работу, если её положительно оценило более 70% целевой аудитории (*).

Приоритезировать идеи
Идеи с более высокой оценкой со стороны целевой аудитории имеют более высокий приоритет реализации.

Вопросы анкеты:
— Насколько идея понятна?
— Воспользуетесь предложением?
— Что нравится, а что не нравится?

РАЗРАБОТКА

Выбрать лучший вариант реализации
Беру тот вариант реализации, который больше понравился целевой аудитории.

Вопросы анкеты:
— Насколько вам нравится ЭТО?
— Какой вариант нравится больше?
— Воспользуетесь предложением?
— Что нравится, а что не нравится?

ОЦЕНКА РЕЗУЛЬТАТА

Оценить, хорошо ли работает продукт
Если % удовлетворенных пользователей больше 80%, то всё хорошо. Если меньше, буду искать проблему (*).

Определить зоны для улучшений, доработки
Буду прорабатывать те идеи улучшений, про которые упомянули более 10% участников опроса при ответе на вопрос «Что можно было бы сделать лучше?» (*)

Вопросы анкеты:
— Насколько вам нравится наш продукт?
— Порекомендуете другим?
— Что нравится, а что не нравится?

(*) Пороговые значения показателей приведены для примера. Для таких показателей, как «нравится идея» или NPS есть рыночные нормы — ориентиры «что такое хорошо», основанные на большом количестве кейсов. Прочитайте главу Почему исследования работают.

Составьте анкету

Начните с отборочных вопросов. Роль отборочных вопросов — пропустить на основной опрос только тех, кто подходит под описание вашей ЦА. Далее задайте основные вопросы, ориентируясь на таблицу выше. Задайте вопросы, которые помогут вам объяснить полученный результат (например, открытые вопросы «почему?»).

Общие рекомендации:

Логика и последовательность с точки зрения респондента. Начинайте с общих вопросов и потом переходите к более частным.
Однозначность и понятность формулировок. Формулируйте ваши вопросы так, чтобы их с большой вероятностью понял каждый. Не используйте терминологию и сленг. Тестируйте анкету на знакомых не из профессиональной тусовки.
Нейтральность. Проверьте, что формулировки вопросов не навязывают респонденту какую-либо точку зрения. Как не надо: «Вы уже бросили пить коньяк по утрам?» или «Многие уже жертвуют на благотворительность, а вы жертвовали за прошлый месяц?».
Один вопрос = один вопрос. Как не надо: «Нравится ли вам ваша работа, и считаете ли вы, что она достойно оплачивается?».
В вопросах с вариантами ответов следите за тем, чтобы для любого человека нашелся подходящий вариант ответа. Если не уверены в полноте списка, добавьте в конце вариант ответа «другое».
Оценочные вопросы типа «насколько понятно» (… нравится, просто, быстро, дружелюбно, вероятно…) удобно задавать в виде закрытого вопроса с пятибалльной шкалой. Например:

Насколько понятна эта идея?
— Полностью понятна.
— Скорее понятна.
— В чем-то понятна, в чем-то нет.
— Скорее НЕпонятна.
— Совершенно НЕпонятна.

Размер выборки

Сколько человек нужно опросить, чтобы можно было делать достоверные выводы? Если очень упрощать, размер выборки зависит от требуемой точности (= нашей терпимости к ошибке, вероятности сделать неверный вывод) и дисперсии оцениваемого признака. Понятно? ;). Теория выборок — один из важных разделов статистики. Если вы хотите разобраться в этом вопросе, начните с прочтения Рабочей книги социолога.

Для решения практических задач мы рекомендуем руководствоваться следующими упрощенными соображениями.

Если вам нужно оценить величину какого-либо признака среди представителей вашей целевой аудитории, опросите 200 человек. Ошибка выборки при этом составит примерно от ±4% до ±7% в зависимости от величины измеряемого признака.

Пример

Вы провели опрос на 200 человек и обнаружили, что 10% населения города Казани работает удаленно. Вы можете утверждать, что реальная доля работающих из дома жителей города лежит в диапазоне от 6% до 14%.

Вы провели другой опрос, в котором 50% респондентов из Москвы сказали, что они готовят дома как минимум раз в неделю. Вы можете утверждать, что доля готовящих дома москвичей лежит в пределах от 43% до 57%.

Для большинства практических задач такой точности достаточно. Если вдруг вам нужно точнее, увеличивайте размер выборки. Учитывайте, однако, чтобы снизить ошибку выборки в два раза (до ±2% … ±3.5%), вам придется увеличить выборку в пять раз (до 1000 интервью).

Если вам нужно выбрать между двумя вариантами одного и того же (две идеи продукта или фичи, два варианта лендинга или рекламного ролика…), у вас есть два пути.

Первый путь — каждому человеку показать оба варианта и спросить, какой вариант нравится ему больше. Опросите 200 человек. Если какой-то вариант предпочитают 55% и больше опрошенных, можно сделать вывод о том, что ваша ЦА предпочитает именно этот вариант. В противном случае, считайте, что люди не видят разницы.

Второй путь (в определенных ситуациях нужно делать именно так) — одному человеку показать только один вариант и задать вопрос типа «нравится?» или «воспользуешься?». Опросите 400 человек: двести — первый вариант, двести — второй вариант. Сравните процент ответивших «понравилось». Если разрыв в оценках вариантов превышает 10%, вы можете сделать вывод о том, что один вариант понравился ЦА больше, чем другой. Чем разрыв больше, тем больше разница в предпочтениях.

Квоты и репрезентативность

Идея квот очень проста. Пусть у вас есть две идеи продукта или рекламы. Вы хотите их сравнить между собой и выбрать лучшую. Для этого вы проводите опрос. Первую идею вы показываете ста людям, вторую — ста другим людям, и сравниваете оценки. Один человек видит только одну идею. Но что если первую идею оценивали только женщины, а вторую — только мужчины? Или первую — только молодые, вторую — только старые? Первую — москвичи, вторую — жители сельской местности? Очевидно, такие результаты не будут сравнимы между собой. Т. е. нужно, чтобы обе идеи были показаны максимально похожим по значимым параметрам людям. Аналогичные требования предъявляются, например, при проведении AB-тестов.

Установить квоты — задать процентное соотношение людей с определенными характеристиками для обеих выборок (идей). Например: М — 50%, Ж — 50%; 20−30 лет — 35%, 31−40 лет — 35%, 41−50 лет — 30%…

Квоты также используются для обеспечения репрезентативности опроса. Это нужно в тех случаях, когда по результатам исследования нужно сказать, какой % ЦА обладает тем или иным признаком. Пример из жизни — политические опросы с целью предсказания итогов выборов.

Проведите опрос

Этот пункт сводится к вопросу о том, где искать и как привлекать участников исследований. Собственно анкету можно запрограммировать при помощи одного из специализированных сервисов. Например: Fastuna DIY, Typeform, SurveyMonkey.

Fastuna DIY

Конструктор анкет с прямым доступом к 670К потребителей.

Проанализируйте данные

Смотрите на проценты, анализируйте распределение ответов. Держите в голове решаемую исследовательскую задачу. Ваш анализ должен быть сфокусирован на поиске информации в соответствии со сформулированными выше критериями принятия решения. Несколько типичных случаев:

1) Оценка доли людей с определенным признаком. В примере выше вы опросили 200 жителей Казани и установили, что 10% из них работают удаленно. Эта доля вам может быть нужна, чтобы посчитать потенциальный объем вашего рынка. Помните, что из-за случайной ошибки выборки реальная доля может колебаться от 6% до 14%. Используйте эти границы, чтобы оценить размер рынка «от» и «до».

2) Предпочтения, выбор лучшего варианта. В примере выше у вас было две идеи, и вы пробовали два подхода: 1) каждому человеку показывали обе идеи и спрашивали, какая нравится ему больше; 2) каждому человеку показывали только одну идею, спрашивали «нравится?». В первом случае выбирайте ту идею, которая набрала больше 55%. Во втором случае выбирайте ту идею, которая набрала на 10% больше «нравится», чем вторая. Если разница меньше, выбирайте любую идею. Или не выбирайте ни одну. Помните, что все тестируемые идеи могут быть не очень (см. следующий абзац).

3) Потенциал идеи. Вам нужно не только выбрать лучшую идею из нескольких, но и оценить их потенциал. Вам нужно решить, стоит ли вообще тратить время на их проработку. Вы провели опрос и задали два вопроса: а) описание понятно? б) воспользуетесь предложением? Если хотя бы по одному из параметров идея набирает значительно ниже 70%, подумайте над тем, чтобы вернуться на предыдущие этапы и доработать вашу идею.

Воспринимайте показатель «воспользуюсь» в качестве меры вероятности успеха вашей идеи. Если 70% людей сказали, что воспользуются, это не значит, что 70% ЦА купит ваш продукт. На реальные продажи будет влиять множество других факторов: конкретная реализация идеи, ваш маркетинг, дистрибуция, цена, наличие и активность прямых и косвенных конкурентов и так далее.

На этом этапе ваша задача — убедиться, что ваша идея «заходит» (т.е. понятна и вызывает интерес) большому количеству представителей ЦА. Используйте значение 70% в качестве ориентира, бенчмарка. Это среднерыночный показатель, полученный на большом количестве тестов других идей и проверенный большим количеством реальных запусков продуктов. Если вас гложут сомнения, прочитайте главу Почему исследования работают.

4) Удовлетворенность клиентов и пользователей. Есть множество разных метрик удовлетворенности. NPS и CSAT — два наиболее распространенных подхода. На что нужно обращать внимание:

Абсолютное значение метрики. Теоретически оно показывается, насколько счастливы ваши клиенты или пользователи. Сложность в том, что нельзя однозначно сказать, хорошо или плохо, если ваш NPS = 30 или на вопрос «Насколько вы удовлетворены нашим сервисом?» 70% опрошенных клиентов ответили «скорее» или «полностью удовлетворен». Выход состоит в сравнении с каким-либо бенчмарком. Это может быть либо «рыночная норма» (есть в открытом доступе для некоторых рынков), либо сравнения с вашим конкурентом (для этого вам нужно опросить клиентов конкурента).
Динамика. Замеры удовлетворенности нужно проводить регулярно. Метрики удовлетворенности хорошо предсказывает будущие проблемы. Если удовлетворенность стабильно от замера к замеру падает, это неминуемо приведет к экономическим последствиям.

Предыдущая глава

Интервью

Следующая глава

Где искать и как привлекать участников исследований

Как исследования помогают создавать продукт и рекламу

Придумать и реализовать продукт, упаковать и донести информацию до целевой аудитории.

Почему исследования работают

Исследования обладают предсказательной силой и являются адекватным отражением реальности.

Наблюдение

В каких случаях применять, как организовать и анализировать.

Содержание

Помогаем делать