Блог

Лев Кертман

Автоматизация. Потоковые задачи можно решать быстро и красиво.

«Почему надо пять дней ждать результатов простого теста после поля?», «Где потерялся отчёт по позапрошлой волне трекинга?», «Как нам тестировать материалы, если мы получаем макеты за три дня до того, как их надо публиковать?» ‒ вам знакомы эти вопросы? У нас есть новый подход, который позволит решить их – Автоматизация. С большой буквы.

Для каких задач это подходит?

Для любых повторяющихся. Мы выделяем два основных типа:

  • Тесты однотипных материалов. Это может быть что угодно: ролики, баннеры, рекламные тексты, сообщения для рассылок, концепции новых продуктов – всё, что выпускается более-менее регулярно и требует проверки по понятному и фиксированному набору параметров.

  • Трекинги. Замеры на регулярной основе и консистентной выборке определённых показателей.

Хорошо, у меня есть такая задача, что дальше?

Расскажите нам о ней, и мы вместе с вами разработаем три важных элемента:

  • Стандартная выборка. Мы договариваемся, на какой целевой аудитории, каком объёме выборки и с какими квотами будет проходить каждый ваш опрос. Постоянство всех этих пунктов обеспечивает вам максимально надёжные нормы, идеальную сравнимость во времени (особенно ценно для трекингов) и сильно ускоряет ход поля. Разумеется, респонденты каждый раз будут новые, фиксированы лишь параметры выборки.

  • Стандартная анкета. Мы составляем и программируем постоянную анкету под нашу типовую задачу. Она может быть сколь угодно сложной, главное, чтобы она оставалась неизменной. Меняются между волнами только тестируемые материалы.

  • Стандартный отчёт. Онлайн-отчёт, в котором данные обновляются в режиме реального времени. Мы согласовываем всю нужную вам визуализацию любых опросных данных или рассчитанных на их основе показателей.

Мы один раз настраиваем все эти элементы и в дальнейшем тесты проходят максимально быстро.

Погодите, у меня в трекинге есть постоянные блоки, а есть переменные, где каждый раз свои задачи. Что делать?

Давайте автоматизируем постоянные, а по переменным будем работать как с разовыми проектами. Теперь, какой бы сложный переменный блок вы не добавили, данные из постоянного блока всё равно будут доступны в онлайн-режиме в привычном формате.

«Быстро» — это сколько в сутках?

В рамках автоматизированного проекта мы запускаем поле в течение 2 часов с момента получения материалов на новую волну. Время сбора поля зависит от согласованной выборки, но для стандартного теста (200 интервью на аудитории средней достижимости) оно не превышает 48 часов. Онлайн-отчёт доступен по ходу поля, а сразу по его окончании мы сообщаем клиенту, что волна закрыта и данные уже не изменятся.

А какие ещё преимущества, кроме скорости?

Скорость – главное, но не единственное преимущество такого подхода. Еще есть:

  • Минимизация риска ошибок. Автоматизированные этапы предельно сокращают зону, в которой менеджер с нашей или вашей стороны может сделать что-то не так.

  • Никаких пересылок баз, таблиц и отчётов. Нет риска что-то потерять. При желании вы всегда можете скачать оффлайн-версию отчёта.

  • Возможность онлайн-доступа к отчёту для ваших коллег. Отдайте начальнику ссылку на отчёт по трекингу, и он сможет в любой момент посмотреть онлайн все результаты по текущей неделе, не запрашивая ничего у вас.

Что в этих отчётах-то будет?

Всё, о чём мы договоримся. Как правило, отчёт включает в себя следующие разделы:

  • Сводные оценки по ключевым показателям, например, уровень NPS или доля тех, кому нравится баннер.

  • Нормы, накопленные за предыдущие волны этого же проекта.

  • Данные по тем предыдущим волнам, с которыми интересно сравнить текущую.

  • Маркировка всех значимых отличий от норм, от прошлых волн.

  • Позитивные и негативные клик-тесты по тестируемым материалам (текстовые или для изображений).

  • Все ответы на открытые вопросы.

Но это лишь стандартный набор. Скажите, что вы хотели бы видеть в отчёте, и мы будем рады реализовать это на вашем проекте.

А отчёты красивые? И просто ли в них разобраться?

Судите сами. Это реальный отчёт по тестам, которые мы делаем для наших друзей из фонда «Нужна помощь». С ними мы тестируем описания благотворительных проектов, которые потом публикуются на сайте. Не забудьте пролистать отчёт вниз и посмотреть, как выглядят клик-тесты и ответы на открытые вопросы.

Кстати, вы можете заметить, что в этом отчёте есть результаты по двум вариантам одного и того же текста. Проекты в рамках автоматизации настолько быстрые, что заказчики успевают переделать материал, который оказался недостаточно хорош, и провести ещё одну волну по исправленному варианту, чтобы проверить, получилось ли улучшить материал.

Насколько это полезно на практике?

Слово Елизавете Язневич, руководителю отдела исследований фонда «Нужна помощь»:

С помощью автоматических отчетов мы улучшаем описания социальных проектов портала «Такие дела», на которые мы собираем пожертвования. День прихода отчета (что удобно: мы точно знаем, когда после отправки данных от нас, его ждать) – это всегда день приятного ожидания. Мы собираемся над отчетом как команда «Что? Где? Когда?» и определяем «удачи» и «провалы» текста – на основании количественных оценок и открытых комментариев респондентов. Это резюме мы презентуем редакции портала на летучке, после чего вместе с ответственным редактором дорабатываем текст. На текущий момент результат таков, что 13 из 17 текстов были откорректированы по результатам тестирования.

Хотите знать больше?

Вот здесь можно скачать презентацию. Пишите нам на client@tiburon-research.ru. Мы будем рады ответить на все ваши вопросы!