Посмотрим на самую верхнеуровневую классификацию исследовательских методов. Исследовательские методы — любые методы получения знания о людях и их предпочтениях.
С точки зрения ожидаемых результатов методы делятся на те, которые отвечают на вопросы «Что? Как? Почему?» и те, которые отвечают на вопрос «Сколько?». Первые объясняют мир, помогают сформулировать гипотезы. Такие методы еще называют «качественными». Вторые — подтверждают или опровергают гипотезы. Их иногда называют «количественными».
Также методы отличаются с точки зрения потребного количества участников. Слева — единицы и десятки людей. В центре — сотни и тысячи. Справа — тысячи, десятки тысяч. Это влияет на применимость метода в каждом конкретном случае (а есть ли у вас столько участников?) и на подходы к анализу (чем «правее», тем более «математические» методы мы будем использовать для анализа полученных результатов).
Анализу продуктовых метрик и AB-тестам посвящено большое количество специальной литературы. В этом курсе мы не будем разбирать AB-тесты, а сфокусируемся на таких методах исследований:
Наблюдение. Наблюдаем, как ведут себя люди применительно к продукту/услуге: на сайте, в приложении, в супермаркете, дома. Наблюдение может проводиться в естественной или искусственной среде (лаборатории).
Кол-во участников;Мало (десятки). Столько, сколько можете просмотреть собственными глазами.
Данные;Записи действий в любой человекочитаемой форме: видео, пользовательские сессии вебвизора, лог действий, ваши заметки в блокноте и т.п.
Анализ;Простой анализ «смотрю > фиксирую "как бывает" > подмечаю закономерности, обобщаю».
Область применения;Формулировка гипотез: с какими проблемами сталкивается человек, как можно улучшить его опыт.
Интервью. Говорим с представителями целевой аудитории. Один на один, реже в группе. Лично или удаленно. У интервью должны быть цель и структура (гайд, примерный список вопросов). В то же время это живой диалог и при необходимости можно отклоняться, углубляться в какие-то важные моменты, которые выявились в ходе интервью. Это важное отличие от опроса, где структура жесткая.
Кол-во участников;Мало (единицы, десятки). Столько, со сколькими сможете поговорить лично.
Данные;Записи и транскрипты интервью, ваши заметки по ходу беседы.
Анализ;Простой анализ «слушаю > фиксирую "как бывает" > подмечаю закономерности, обобщаю».
Область применения;Формулировка гипотез: с какими проблемами сталкивается пользователь, как можно улучшить пользовательский опыт.
Опрос. Просим представителей целевой аудитории заполнить анкету-опросник, состоящий из последовательности закрытых (с вариантами ответов) и открытых (ответ текстом) вопросов.
Кол-во участников;Сотни и тысячи. Столько, сколько нужно, чтобы результаты были статистически достоверны.
Данные;База данных с ответами, таблицы с процентами распределения ответов на вопросы.
Анализ;Простой анализ распределения ответов. Для ряда задач — более сложные виды анализа (кластерный, факторный, регрессионный…)
Область применения;Проверка гипотез. Оценка потенциала продукта. Выбор наилучшего варианта чего-либо. Оценка результата.
Эксперимент. Смоделированная ситуация использования продукта, имеющая целью подтверждение или опровержение той или иной гипотезы. Приглашаем представителя целевой аудитории, моделируем ситуацию использования (даем задание что-то сделать), фиксируем поведение. Например, можно попросить человека найти определенный товар в электронном магазине или отправиться человека в «физический» супермаркет и выполнить задание там. Эксперимент может проводиться как при личном контакте человека и исследователя (например, лабораторные UX-тесты), так и удаленно.
Кол-во участников;Сотни. Столько, сколько нужно, чтобы результаты были статистически достоверны.
Данные;База данных с фактами поведения участников в смоделированной ситуации, таблицы с процентами распределения «паттернов» поведения.
Анализ;Простой анализ распределения ответов. Для ряда задач — более сложные виды анализа (кластерный, факторный, регрессионный…)
Область применения;Проверка гипотез, выбор лучшего варианта. По результатам эксперимента можно определить относительную важность проблем или сказать, какой из двух тестируемых вариантов лучше.