Вспомним, что ваша цель — рост. Вы исследуете потребности людей, ищете точки роста, проверяете и реализуете идеи, чтобы ваш бизнес рос.
Потребность > Идея > Реализация > Рост
Чтобы оценить результат, нужно измерить рост. Это можно сделать прямо — через бизнес-метрики (выручка, прибыль, LTV…). Если реализация продуктовой идеи приводит к росту целевой метрики — хорошо. Разница между уровнем бизнес-метрики до реализации идеи и после реализации — это и есть искомый результат. Просто и понятно.
Почему важно измерять результат:
— Двигаюсь в правильном направлении (уверенность) — Мера моего успеха (аргументация внутри компании) — Эмпирический опыт (учусь на ошибках)
Не всегда результат можно измерить так просто. Вот несколько ситуаций, когда косвенные способы оценки результата могут принести ощутимую пользу:
Небольшая часть продукта. Вы реализовали небольшую идею. Её вклад трудно вычленить, наблюдая за высокоуровневыми бизнес-метриками. Особенно трудно вычленить эффект реализации конкретной идеи, если одновременно реализуется несколько идей. Имеет смысл оценивать эффект каждого отдельного изменения, чтобы накапливать эмпирический опыт «вот это работает, а вот это нет».
Пример
В ресторане ввели правило для официантов писать от руки «Спасибо!» на чеке, чтобы повысить удовлетворенность клиентов и увеличить чаевые. Замечают ли клиенты эту надпись вообще? Как относятся?
Большое изменение и много факторов. Вы работаете над большим проектом. Процесс длительный и его исход зависит от многих составляющих «подпроектов» и изменчивых внешних факторов. Эффект будет в конце, но уже в процессе вы хотите понимать, правильно ли вы двигаетесь по каждой составляющей в отдельности. Эта информация поможет вовремя скорректировать процесс, не дожидаясь завершения проекта.
Пример
Вы хотите снизить количество негативных отзывов о вашей компании. Для этого вам нужно, например: поменять процесс заказа (сайт, уведомления…), скорректировать процессы колл-центра, поменять партнера по доставке. Всё вместе должно дать желаемый эффект, но общий срок реализации проекта — 6 месяцев. Быстрее всего внести изменения в логику и тексты уведомлений о статусе заказа, которые получает клиент. Сразу после этого имеет смысл оценить эффект такого изменения. Снизилась ли доля негативных отзывов, связанных с уведомлениями? Нравятся ли, понятны ли клиентам новые уведомления? Стало ли лучше?
Насколько реализован потенциал идеи. Вы реализовали идеи и верхнеуровневая метрика (продажи) выросла на ХХ%. Это хорошо. Но уверены ли вы, что потенциал идеи реализован полностью? Насколько конкретная реализация нравится? Что можно было бы сделать лучше? Или, наоборот, вы реализовали перспективную идею, но поведение целевой метрики не соответствует вашим ожиданиям. Почему? Не погубила ли плохая реализация хорошую идею?
В подобных ситуациях исследования могут заменять или дополнять бизнес-метрики, снабжая продуктовые команды более подробной и своевременной обратной связью.