Содержание
Введение
Прозрачность – неоспоримое преимущество онлайн метода (CAWI) сбора данных. Если при традиционных методах полевой этап по сути является черным ящиком, то онлайн как минимум предполагает:
- Возможность зарегистрироваться в панели поставщика. Вы будете уверены, что панельный провайдер адекватно общается со своими панелистами (Вашими респондентами).
- Возможность в реальном времени отслеживать процесс сбора данных. Вы будете уверены, что данные собираются; сможете оценить основные показатели проекта (отклик, достижимость, % заполнения), сможете читать ответы людей на открытые вопросы.
Все это является хорошими внешними показателями качества данных, получаемых с использованием онлайн панелей (online access panels). Тем не менее, мы убеждены, что независимо от способов внешнего контроля каждый панельный провайдер должен иметь свою четко сформулированную и выполняемую политику качества панели.
Ответы на 26 вопросов ESOMAR являются формальной декларацией такой политики. Ниже мы очень кратко формулируем нашу позицию по самым важным на наш взгляд вопросам, касающимся качества онлайн данных.
Назад к оглавлению
Рекрут панели
В отношении рекрута онлайн панелей на наш взгляд существуют два главных вопроса:
- Откуда берутся панелисты? Что мы им говорим о проекте на этом этапе?
- Как выглядит процесс регистрации? Что мы говорим им в момент регистрации?
Источники рекрута
Общее правило - чем более разнообразны источники рекрута, тем более сбалансированной будет онлайн панель. Например, для рекрута в панель InternetOpros.ru мы используем следующие источники:
Оффлайн:
- Рекрут в конце оффлайн интервью партнеров. Оффлайн рекрут считается одним из наиболее качественных и позволяет целевым образом достигать тяжелые для онлайн рекрута целевые группы.
Онлайн:
-
Баннерная реклама в рекламных сетях. Работает «по площадям», позволяет добиться широкого охвата Интернет аудитории и, следовательно, большого разнообразия панелистов.
-
Социальные сети. Дорого, но точно. Рекрут в социальных сетях позволяет таргетировать аудиторию по демографическим характеристикам, «вытягивая» сложные целевые группы (старше 40 лет, регионы и т.д.).
-
Партнерские сайты. Эффективный способ привлечения лояльных панелистов, которые рекрутируются в конце опроса, посвященного, например, удовлетворенности посетителей площадки-партнера. Постоянная ротация площадок обеспечивает разнообразие рекрутируемых таким способом участников онлайн панели.
Мотивация в момент рекрута
Самым простым вариантом мотивационного сообщения для приглашения участия в онлайн исследовании в момент первого контакта с потенциальным панелистом является «Участвуй в опросах, получай деньги». Он же является самым нежелательным с точки зрения качества панели. См. также – «Почему они участвуют (мотивация панелистов)».
В рекрутинговых кампаниях для своих онлайн панелей мы используем строго неденежную мотивацию: интерес со стороны производителей, свое мнение, социальная ответственность, экология и т.п.
Процесс регистрации в онлайн панели
При относительной свободе выбора креатива рекрутинговых сообщений, сам панельный портал должен четко и недвусмысленно раскрывать суть проекта и основные принципы участия, не должен вводить потенциальных панелистов в заблуждение.
Возможны разнообразные варианты оформления сайта. Мы сделали это так: InternetOpros.ru, OprosMam.ru.
Процесс регистрации должен проходить в два этапа (double-opt): 1) заполнение первичной онлайн анкеты, 2) подтверждение адреса электронной почты. В процессе регистрации мы также обязательно контролируем уникальность введенного адреса электронной почты и номера сотового телефона.
Назад к оглавлению
Проблема множественных регистраций
Проблема множественных регистраций свойствена любой панели с открытой регистрационной политикой. Мы боремся с ней следующими способами:
- Контроль уникальности адреса электронной почты и номера сотового телефона.
- Проверка на совпадения в таких параметрах как: ФИО, логин (текст перед знаком @ в адресе электронной почты), пароль.
- Контроль регистраций с одним и тем же cookie (метка ставится при посещении сайта онлайн панели).
- Проверка на точное совпадение технических параметров компьютера, с которого производилась регистрация: версия операционной системы, версия браузера, разрешение монитора.
- Ручной контроль подозрительных регистраций.
Все это позволяет с большой вероятностью идентифицировать случаи множественных регистраций. Мы осознанно не используем метод идентификации панелистов по паспорту, т.к.:
- Паспортные даные - слишком личная информация. Со стороны панелистов объективно существуют барьеры к ее раскрытию на стадии регистрации. Опасность сильного смещения панели в случае использования.
- Использование паспорта для идентификации только в момент получения вознаграждения требует личного присутствия панелиста на почте. При общей незначительности сумм вознаграждения и трудозатрат, потребных для его получения, возникает опасность сильного смещения панели.
- Если паспортная идентификация происходит только в момент выплаты вознаграждения и минимальный порог обналичивания вознаграждения достаточно высок, то большая часть онлайн панели (а значит и выборки) процедуру идентификации не проходила.
Назад к оглавлению
Выборки из нескольких онлайн панелей
В тех случаях, когда ресурсов одной онлайн панели недостаточно (очень большая выборка, очень сложная целевая группа) существует возможность использования выборки из нескольких панелей одновременно. При этом, так как теоретически один человек может быть зарегистрирован более, чем в одной панели, для исключения вероятности пересечения выборок из двух и более панелей в пределах одного проекта, используются те же методы, что и для борьбы с множественными регистрациями:
- Проверка cookie. Повторные заходы с одним и тем же cookie автоматически блокируются.
- Проверка на точное совпадение технических параметров компьютера. Повторные заходы помечаются и контролируются вручную: дата и время заполнения, демографические данные, качество заполнения анкет.
Назад к оглавлению
Управление проектами
Производственный цикл любого проекта состоит из нескольких этапов:
- Вычитка анкеты / тестирование программы. См. также – «Качество онлайн анкет».
- Генерация выборки:
- Фильтрация базы по тем критериям целевой группы, которые можно претаргетировать на основе хранящейся о панелисте информации.
- Мораторий на повторное участие в опросах на схожие темы (по умолчанию мы используем 90-дневный период моратория).
- Случайная выборка внутри целевой группы (каждый участник панели должен иметь равные шансы попасть в выборку).
- Генерация уникальных ссылок – один панелист = одна ссылка. Уникальность ссылки обеспечивается идентификационным номером панелиста в данном конкретном опросе, который практически невозможно подобрать. Это дает гарантию того, что на одну анкету нельзя ответить дважды.
- Запуск тестовой рассылки (100-200 приглашений). На этом этапе уточняются параметры опроса (длительность анкеты, достижимость целевой группы), а также по предварительным данным и комментариям респондентов еще раз проверяется логика работы онлайн анкеты.
- Запуск основной рассылки. Рассылаются приглашения в количестве достаточном для достижения целевой выборки.
- Завершение опроса:
- Сверка ответов с регистрационными данными (пол, дата рождения).
- Контроль времени заполнения и удаление недобросовестно заполненных анкет.
- Контроль логики заполнения анкет и удаление недобросовестно заполненных анкет.
- Начисление штрафных балов недобросовестным панелистам.
Назад к оглавлению
Почему они участвуют (мотивация панелистов)
Ответить на вопрос, почему люди участвуют в Интернет исследованиях, также сложно, как и на вопрос, почему люди участвуют в привычных оффлайн опросах.
По результатам периодического исследования удовлетворенности панелистов InternetOpros.ru наибольшей важностью обладают следующие характеристики: интересные темы опросов, размер вознаграждения, грамотный русский язык.
То, что размер вознаграждения находится среди важных факторов, для репрезентативной потребительской панели на наш взгляд совершенно нормально. Другое дело, что деньги не должны быть единственной причиной для участия. В панели InternetOpros.ru только 4.5% людей среди важных для них факторов не назвали ничего, кроме денег.
Наш подход к мотивации панелистов:
- Обратная связь не менее важна, чем денежное вознаграждение. Мы оперативно отвечаем на все вопросы наших панелистов, регулярно публикуем на сайте развлекательный контент (новости, результаты опросов, мини-опросы на социально-значимые темы, вопросы от участников и т.д.), проводим регулярный мониторинг удовлетворенности панелистов.
- Небольшое, но пропорциональное сложности анкеты денежное вознаграждение. Вознаграждение – наше «спасибо» за потраченное время и аккуратно заполненную анкету. Главное: опросы – не способ заработка.
- Разумный порог обналичивания вознаграждения. Участники панели InternetOpros.ru могут перевести деньги на счет сотового телефона после накопления 200 рублей (т.е. 4-6 опросов, около 6 месяцев активного участия в панели). Таким образом, к моменту выплаты вознаграждения мы уверены, что имеем дело с «качественным» панелистом, а панелист видит результаты своих трудов, что положительно отражается на качестве заполнения анкет. Установка существенно больших порогов обналичивания может привести к падению доверия к проекту со стороны участников (чтобы накопить, скажем, 1000 рублей потребуется отвечать на опросы в течение 2-3 лет) и, как следствие, смещению аудитории в сторону профессиональных респондентов, которые умеют «творчески» проходить отборочные анкеты и ускорят накопление искомой суммы.
Назад к оглавлению
Нежелательные панелисты (fraudulent respondents)
Существует несколько типов нежелательного поведения панелистов:
- Множественные регистрации.
- Недобросовестное прохождение отборочных анкет.
- Невнимательное заполнение анкет.
О проблеме множественных регистраций мы уже говорили. Аналогичные процедуры используются и для каждого отдельно взятого опроса. Для борьбы с п.п.2,3 мы используем следующие методы:
На стороне панели:
- Перед каждым новым опросом мы просим панелистов указать свой пол и точную дату рождения. Ответы автоматически сверяются с указанными при регистрации, при несовпадении начисляются штрафные балы.
- В каждом опросе проводится контроль длительности заполнения анкеты. Анкеты с длительностью заполнения меньше минимальной заданной, автоматически помечаются как недоброкачественные.
На стороне анкеты:
- Вопросы-ловушки: повторы (в т.ч. отборочных вопросов), вопросы на внимательность.
- Контроль дисперсии ответов в шкальных вопросах (пороговые значения отдельно задаются для каждой анкеты).
- Контроль качества заполнения открытых вопросов. Проверка ответов по словарю на предмет осмысленности введенного текста.
- Контроль времени ответа на отдельные вопросы. Например, можно задать минимально допустимое время ответа на табличный вопрос.
Все нарушения регистрируются с помощью системы штрафных баллов. Один раз в месяц мы производим ручной контроль панелистов, превысивших порог допустимого количества штрафных баллов и принимаем решение об удалении нарушителей из активной базы.
Назад к оглавлению
Качество онлайн анкет
5% «плохих» панелистов = 5% запаса выборки и отлаженные процедуры контроля качества.
Плохая анкета = 100% впустую потраченного исследовательского бюджета.
Плюс к тому, плохие анкеты не только плохо решают поставленные перед ними задачи, но и раздражают панелистов, подрывают доверие к организатору панели и тем самым снижают лояльность панелистов, косвенно влияют на результаты последующих опросов.
Именно поэтому мы всегда:
- Аккуратно вычитываем все анкеты, запускаемые на наших панелях, на предмет ошибок, опечаток, логики, качества перевода, нормативности контента и т.п.
- Уделяем большое внимание внешнему виду и форматированию наших анкет.
- Внимательно следим за комментариями респондентов, что позволяет вовремя отслеживать ошибки, неточности формулировок и т.п.
Назад к оглавлению
Ответственность поставщика
Тут все просто. Мы считаем, что поставщик онлайн панелей должен отвечать за качество данных наравне со своими клиентами, будь то исследовательская компания, рекламное агентство или исследовательский отдел на стороне конечного потребителя маркетинговых исследований.
Назад к оглавлению