Продуктовая аналитика и работа с данными

Занятие 3 ПРОДУКТОВАЯ АНАЛИТИКА И РАБОТА С ДАННЫМИ 1. ЗАДАЧИ ДЛЯ ПРОДУКТОВОЙ АНАЛИТИКИ И РАБОТА С ДАННЫМИ Зачем нужна аналитика 1. Аналитика помогает найти точку роста и определить куда прилагать усилия. 2. Аналитика помогает найти выбросы, отклонения и пики, и показать направление исследования. 3. Расчет экспериментов. Мы учимся на результатах экспериментов. Базовая аналитика 1. Веб-аналитика на сайте: посмотреть конверсию по каналам, посмотреть соотношение каналов. 2. Посчитать воронку продукта. 3. Посчитать юнит-экономику (экономику на 1 пользователя). 4. Посчитать изменения метрик. 5. Спроектировать, провести и обсчитать простой тест. 6. Взять простой дата-сет и сделать простую визуализацию. Продвинутая аналитика 1. Спроектировать и обсчитать сложный тест. 2. Понять, улучшение или ухудшение ситуации связано с текущим фактором, или это случайное совпадение. 3. Понять корреляцию одной метрики с другой. 4. Вытащить из базы пользователей по сложному запросу. 5. Найти точку роста, там где её не видно. 6. Смержить десять датасетов, не запутаться и сделать крутую и сложную визуализацию данных. 7. Проводить сложные и высокорисковые эксперименты. 2. КАЧЕСТВЕННАЯ И КОЛИЧЕСТВЕННАЯ АНАЛИТИКА Количественная аналитика 1. Оперирует цифрами. 2. Важно уметь считать и понимать математику, матстат и тервер. 3. Не дает конкретную информацию, но может подсветить проблему или доказать успех или неуспех. Качественная аналитика 1. Оперирует информацией. 2. Важно уметь наблюдать, слушать, слышать и делать выводы. 3. Не даст статистической значимости, но расскажет о действиях, мотивации пользователей, причинно-следственных связях. Может подсказать, что конкретно надо делать. Оба вида аналитики необходимо использовать совместно. Количественная аналитика покажет, куда смотреть и где проблема или успех. Качественная аналитика подскажет, почему там проблема(успех), а также как улучшить результат. 3. ВАРИАНТЫ КОЛИЧЕСТВЕННОЙ АНАЛИТИКИ ДЛЯ ПРОДАКТА Веб-аналитика Проста для использования. Кусочек кода Google-аналитики, Яндекс-метрики или другой системы аналитики размещают в своем продукте или на своём сайте . И если зайти на сайт аналитики ,то можно узнать много информации о вашей странице и о вашем продукте: конверсии, пути пользователя, переходы пользователя со страницы на страницу, зафиксировать все действия пользователя. Например, узнать про пользователей, которые нажимали конкретную кнопку. Аналитика воронки продукта Важнейший инструмент, по которому можно проследить путь пользователя, узнать сколько пользователей теряется на каждом этапе. Например, средняя конверсия в заявку на любом сайте колеблется от 3% до 7%. Это означает, что более 90% пользователей уходят. Продакт стремится сделать так, чтобы на каждом этапе воронки уходило как можно меньше пользователей и как можно больше пользователей доходили до конца воронки, покупали и использовали продукт. При работе над воронкой продакту важно получать достоверные цифры о конверсии при переходе с одного этапа на другой. Опросы Продакт-менеджеры часто устраивают опросы пользователей, чтобы получить информацию. Опросы не всегда на 100% достоверны. Для того, чтобы провести опрос требуется большая выборка. NPS Это Индекс удовлетворения пользователя. Этот Индекс смотрят в динамике, т.е. сравнивают с NPS того же продукта ,но в предыдущий день. И наблюдают, как меняется этот индекс. Нельзя сравнивать индексы NPS разных продуктов. Важно в количественных методах анализа информации: 1. Статистическая значимость - это показатель того, насколько достоверен вывод. Статистическая значимость повышается при увеличении выборки пользователей. 2. Достаточная выборка. Легко набрать статистическую значимость, если у вас много пользователей. В средних случаях, если пользователей ни много ни мало, можно получить статистическую значимость, если эксперимент будет проходить достаточно долго. 3. Репрезентативная выборка. Такая выборка должна корректно отражать среднестатистического пользователя. Например, если у продукта 1000 пользователей, соотношение мужчин и женщин - 50 на 50, то в выборке соотношение должно быть таким же. Тоже касается других аспектов, которые важны для продукта. Нужно сделать такую выборку, которая будет отражать реальность в продукте. 4. Относительно быстрый способ получить данные. Но он не отражает всей необходимой информации для принятия решения по продукту. 4. ВАРИАНТЫ КАЧЕСТВЕННОЙ АНАЛИТИКИ ДЛЯ ПРОДАКТА Вебвизор, Fullstory • Вебвизор - это часть Яндекс.Метрики, бесплатный сервис, который позволяет записывать действия пользователя у вас на сайте и иногда в приложении. В вебвизоре нет продвинутой системы фильтрации пользователей. Этот инструмент бесплатен и доступен всем. • • Fullstory позволяет гибко настраивать все отчеты и отфильтровывать пользователей по любым критериям. Customer Development или User Research Customer Development/User Research - это интервью с пользователем. Главные условия: ● спрашивайте про опыт, а не про мнение; ● не рассказывайте про идею; ● меньше говорите, больше слушайте. Наблюдение Очень важно наблюдать за тем, как ведут себя пользователи вашего продукта в реальной жизни.Это вам поможет. Фокус-группа Фокус-группа - это группа из 3-7 потенциальных пользователей вашего продукта, которым вы показываете прототип или свой продукт, задаете наводящие вопросы и смотрите, как развивается дискуссия, как пользователи обсуждают продукт. В процессе у вас могут появиться инсайты или много новых идей. Дневники Дневник самонаблюдения - это инструмент, который поможет узнать больше о жизни пользователя за пределами вашего приложения или продукта. Вы ищете респондента, который готов, возможно за небольшую плату, каждый день вести дневник самонаблюдения. В дневнике респондент будет описывать как прошёл день, какими ресурсами пришлось воспользоваться для выполнения своей работы, какие программы использовал, какое было настроение в течении дня и т.д. Такие дневники помогают понять реальную жизнь пользователя, особенно, если вы далеки от него. Юзабилити-тестирование Вы садитесь рядом с пользователем за компьютер или телефон с запущенным продуктом. Просите сделать задание. А сами наблюдаете за тем, как он его выполняет, как взаимодействует с вашим продуктом, всё ли ему понятно, где он застопорится, где совершит ошибку. Главное условие - не подсказывать. Вы удивитесь, что пользователь будет идти к решению задачи странными путями и, наверняка, получите много полезных инсайтов. Важно в качественных исследованиях: 1. Эмпатия - слушайте и наблюдайте. 2. Следите за репрезентативностью выборки. 3. Прекращайте, если перестали получать инсайты. 5. ИЕРАРХИЯ МЕТРИК Метрики 1. Бизнесовые-финансовые (GMV, EBITDA, прибыль, выручка, косты) 2. Маркетинговые (СAC, CTR, CPA, CPL) 3. Продуктовые: - LTV (life time value) - ARPPU (средняя выручка на одного платящего пользователя) - ARPU (средняя выручка на одного пользователя) - MAU/DAU (Monthly/Daily) Active Users - Retention (возвращаемость) - Churn Rate (показатель оттока) Иерархия метрик Для того, чтобы контролировать развитие, сбыт и производство продукта, необходимо учитывать всю пирамиду метрик и считать все метрики от основания до вершины. North Star метрика (Метрика Полярной звезды) North Star метрика - это самая главная метрика в продукте, которая показывает, что происходит с продуктом, насколько продукт успешен. Эту метрику сложно определить. Правильно выбранная North Star метрика отражает все изменения, которые происходят в продукте, а также является индикатором успеха компании. Но не может вся компания работать над одной единственной метрикой. Поэтому North Star метрика разбивается на несколько подметрик, а они ещё на несколько подподметрик. И уже над ними работают команды. Каждая команда работает над небольшой метрикой, получает результат, а потом все результаты приводят к тому, что ключевая метрика компании растет. 6. КОГОРТНЫЙ АНАЛИЗ Что такое когортный анализ Когортный анализ - это метод маркетингового анализа, в котором пользователей рассматривают не как единое множество, а делят пользователей на когорты по временным отрезкам. Когорты можно увидеть, например, в Google Analytics, когда: ● анализируют рекламные каналы, ● смотрят конверсионность пользователей по неделям от момента регистрации. Такой анализ поможет: ● посмотреть как себя ведут пользователи из разных временных когорт, ● определить насколько эффективно работает маркетинг и конверсионная воронка, ● отделить старых пользователей от новых, вернувшихся от тех, кто пользуется продуктом впервые. Правила формирования когорты Когорта - это группа людей, которые совершили определенное действие в заданный отрезок времени. Для формирования когорты необходимо определить: 1. Признак когорты - стартовое действие - любое событие, от которого ведется отсчет: первое посещение сайта, регистрация, авторизация, первая покупка. 2. Размер когорты - временной интервал, который зависит от количества пользователей: день, неделя, месяц, год. 3. Показатель когорты: ROI, Retention Rate, LTV и т.д. Где используется когортный анализ Когортный анализ используют: ● для поиска отклонений и аномалий в метриках продукта, ● для проверки качества маркетингового трафика, ● для оценки долгосрочных последствий эксперимента, ● для подсчета выручки и других показателей в моменте. Когортный анализ - единственный способ корректно учесть изменения метрик в условиях нестабильного трафика. 7. ПРИМЕР КОГОРТНОГО АНАЛИЗА Расчет выручки по когортам Задача Вы продаете коробочки с коллекционными муми-троллями с января. Сейчас закончился июнь. Подписка длится 6 месяцев, по 1 000 руб./ мес. Никто не бросает подписку, все платят до конца подписки. В январе вы привлекли 12 клиентов, в феврале 7, в марте 31, в апреле 16, в мае 18, в июне 22. Сколько у вас в кармане выручки за эти полгода? • В левой части таблицы месяц, когда пользователь открыл подписку. В правой части - месяц, когда пользователь вам заплатил. • Понятно, что пользователь, который пришел, например, в марте, начал платить в марте. Пользователь, пришедший к вам в мае, начал платить в мае. • Если никто не отказывается от подписки, то с января по июнь мы получим 6 месяцев подписки 12-ти людей, - это та когорта, которая подписалась в январе. Тоже самое происходит и с другими месяцами. Июньская когорта оплатила только один раз в июне, и поэтому засчитывается в таблице только один раз. • Дальше просуммируем все эти оплаты, и получим 337 оплат за 6 месяцев по всем когортам. Соответственно, умножаем 337 на средний чек в 1 000 руб., - и получаем 337 тыс. руб. Это выручка за 6 месяцев со всех когорт. Когортный анализ падения оплат Теперь разберем более сложный пример: расследование падения конверсии на сайте. Задача Вы запустили продажи в январе - запустили новый продукт. Трафик каждый месяц проходит одинаково. 01 мая вы обновили сайт: сделали его удобнее, лучше. В июле стали падать оплаты. Повлияло ли обновление сайта на падение оплат? • Если посмотреть все продажи без участия когорт, увидим: продажи нарастали плавно, в январе их было немного, в феврале стало больше, в марте еще больше..., и так происходило до июня. • В июне видим падение. Если посмотреть только на цифры, складывается картина: вы планомерно росли, а после обновления сайта новые клиенты платить перестали. Кажется, обновлением сайта вы сделали только хуже. • Смотрим на реальные цифры: когорты конвертируются неравномерно. Если мы посмотрим на когорты января, февраля, марта, увидим: в первый месяц данная когорта почти не конвертируется. Однако во второй и третий месяц происходят основные конверсии. В мае ситуация изменилась: основная конверсия перешла на первый месяц оплаты, а дальше остается только “хвост”. • Рассмотрим конверсионность каждой когорты. Когорта мая показывает самую высокую конверсию: 1 300 продаж, - это больше, чем у любой другой когорты. При этом мы понимаем, что когорты мая, июня и июля они еще не закончились. У них будет еще целый “хвост” конверсий. Однозначно можем сказать, что в мае ситуация только ухудшилась. • Тогда почему произошло падение продаж в июне-июле? После изменений на сайте когорта изменила свой график конверсионности, и большинство конверсий происходили в первый месяц. ● Если посмотреть на апрель, т.е. на “старую” когорту (которая увидела “старый” сайт), увидим максимальную конверсионность, ● те, кто регистрировался и заходил на сайт в апреле и марте, показали максимальную конверсионность в апреле и мае, ● майская когорта показала свой максимум тоже в мае. Эти два пика конверсионности наложились друг на друга и получилась аномалия: ее мы увидели только разобрав весь трафик на когорты. Итог: ничего не упало, даже стало лучше (для бизнеса всегда лучше, когда он получает деньги раньше, а не позже): ● продажи по майской когорте выросли, ● продажи перераспределились на первый месяц с третьего, ● из-за смены сайта и перераспределения продаж аномально вырос май, ● продажи еще “докатятся”. Вывод: когортный анализ помогает увидеть суть, скрытую за общими цифрами. Не ленитесь проводить когортный анализ, потому что только он даст вам корректную информацию о продукте. 8. АНАЛИТИЧЕСКИЕ ЗАДАЧИ. ПОСТАНОВКА И ПРИЁМ Как ставить задачи аналитику При постановке задач аналитику необходимо: 1. Погрузить аналитика в контекст: Аналитик должен ЗНАТЬ продукт, понимать: ● как работает продукт, ● какие пути пользователя в продукте существуют, ● что происходит внутри продукта и вокруг него. Если вы сфокусированы на конкретном участке пользовательского пути, необходимо описать аналитику, что это за участок продукта, анализ, которого вы хотите получить: • что там делает пользователь? • из какой точки он пришел? • в какую точку он пойдет потом? • какие особенности есть у продукта на данном участке? 2. Описать конкретику: не процесс “проанализировать трафик”, а “проранжировать каналы привлечения по конверсии в оплату”. Задача “проанализировать трафик” не является конкретной, ее невозможно приземлить на конкретные данные. А задача “проранжировать каналы привлечения по конверсии в оплату” уже более предметная. Сразу становится понятно, что в отчете должны содержаться каналы привлечения пользователей, конверсия в оплату, и все эти каналы необходимо расположить от самой высокой конверсии до самой низкой. 3. Описать какое решение вы собираетесь принимать на основании данных. Это покажет аналитику насколько данное решение является важным, сколько ресурсов можно уделить задаче и какая точность необходима. 4. Указать насколько достоверный ответ нужен. Идеальная достоверность очень тяжело достигается. Часто, она не нужна. 90-95% достоверности может оказаться достаточно. Экономьте ресурсы аналитика. 5. Указать в каком виде нужен ответ: • отчет, • график, • письменные выводы на основании тех данных, которые проанализировал аналитик, • другой способ визуализации. Как принимать задачи от аналитика Когда вы принимаете задачи от аналитика необходимо: 1. Прочитать все, в том числе рассуждения, расчеты, а не только выводы. Старайтесь понять максимальное количество данных, которые видите, и причинно-следственную связь: почему аналитик решил пойти тем или иным путем. 2. Попросить аналитика “провести” вас за руку по результатам. Пусть он расскажет: • почему выбрал тот или иной способ анализа данных, • почему взял ту или иную базу данных, • и почему сделал именно такие выводы. 3. Задавать вопросы. Не стесняйтесь задавать вопросы. Уточняя детали, вы поймете результат работы аналитика, и примите правильное решение. 4. Уточнить “правильно ли я понимаю, что на основании этого, верным решением будет...” Аналитик - специалист, который разбирается в базах данных вашей компании. Он может подсказать более правильное решение и более правильный подход к задаче. Если вы что-то поняли неверно, аналитик поправит вас и уточнит результат задачи. 5. Поблагодарить аналитика за работу. Аналитика - это не только цифры, это анализ данных на основании продукта. Аналитическая работа - тяжелый труд. ДОПОЛНИТЕЛЬНО Продуктовая аналитика и работа с данными • Эксперименты — это главный источник знаний для продакта • Правильная визуализация поможет найти точку роста. План конспекта 1. Сбор данных для анализа 2. Визуализация данных: инструменты 3. Как анализировать данные: поиск пичков 4. Статистическая мощность, достоверность, статзначимость 5. Проектирование эксперимента и расчет результатов эксперимента 6. Тонкости: АА-тест, AAB-тест, тесты на операционке и ухудшающие тесты, основные проблемы Сбор данных для анализа Если это для вас стоит немного, собирайте все данные, до которых можете дотянуться. О чем нужно думать? ● Объем (следите за финансами) ● Разнообразие (более полная картина, но тяжелая интеграция, мержить сложно) ● Скорость (какая нужна мощность?) ● Как близко к ключевым метрикам? ● Агрегированные или сырые? Сырые! ● А ещё данные можно покупать и обогащать. Виды данных 1. Упорядоченные 1. Упорядоченные 2. Неупорядоченные 1. Упорядоченные 2. Неупорядоченные 3. Транзакционные За чем следить ● Чистота ● Актуальность ● Доступность ● Степень детализации ● Безопасность и юридические штуки ● Иногда смотреть, и думать, как применять Визуализация данных Инструменты визуализации данных ● Tableau ● Google Data Studio ● Power BI ● Plotly ● и ещё очень много.. Важно: это не “показать отчетик руководителю”, а возможность найти точку роста Как анализировать данные: поиск пичков 1. Смотрим связи и разрезы - Регионы в разрезе среднего чека - Конверсия в заявку по платформам и устройствам - Конверсия в продажу по уровню английского ученика - Дозваниваемость по часам времени и регионам 2. Детализируем до поиска пичков 3. Ищем отклонения - У продавца выше конверсия. Что он делает? - У пользователей из Лондона путь до главной фичи — 12 секунд, а не 25. - Конверсия пуша в два раза выше, чем обычно - У юзеров из мелких городов в 2 раза ниже вероятность купить продукт Х 4. Расследуем Статистическая мощность, достоверность, статзначимость Задачка У вас 2 лендинга На одном 188 уникальных посетителей и 10 заявок. На другом 213 уников и 9 заявок. Какой лендинг лучше? Данных недостаточно Нулевая гипотеза Нулевая гипотеза — принимаемое по умолчанию предположение о том, что не существует связи между двумя наблюдаемыми событиями, феноменами. Ошибка первого и второго рода • Ошибка первого рода — ситуация, когда отвергнута верная нулевая гипотеза: ошибочно сделали вывод, что разница между 1 и 2 вариантом есть, хотя её нет. Ложно подтвердили фичу, в общем. • Ошибка второго рода — ситуация, когда принята неверная нулевая гипотеза: ошибочно сделали вывод, что разницы между 1 и 2 вариантом нет, хотя она есть. Упустили хорошую фичу. Ошибка первого и второго рода Статистическая значимость/достоверность • Разница называется статистически значимой, если появление имеющихся данных было бы маловероятно, если предположить, что эта разница отсутствует; это выражение не означает, что данная разница должна быть велика, важна, или значима в общем смысле этого слова. • Чем выше достоверность статистического теста, тем меньше вероятность совершить ошибку первого рода. • Достоверность — процент уверенности в том, что результаты теста верны, если он показал разницу. Статистическая мощность • Статистическая мощность в математической статистике — вероятность отклонения нулевой гипотезы в случае, когда конкурирующая (или альтернативная) гипотеза верна. • Величина мощности также используется для вычисления размера выборки, необходимой для подтверждения гипотезы с необходимой силой эффекта. • Чем выше мощность статистического теста, тем меньше вероятность совершить ошибку второго рода. • Мощность — процент уверенности в том, что результаты теста верны, если он не показал разницу. Это всего лишь цифры • Если вы рискуете многим, то мощность и достоверность уводите к 99% • Если в целом однофигственно, то даже 80 могут быть ок. Проектирование эксперимента и расчет результатов эксперимента Что учесть ● Чем больше выборка, тем лучше ● Чем сильнее изменение, тем лучше и проще ● Чем больше вариантов тестирования (АBC) — тем хуже и больше выборка нужна ● Очень важно: определить основную и контрольные метрики! ● Очень важно: описать гипотезу! ● Очень важно: не подсматривайте! Пока вся выборка не пройдет через тест. ● Очень важно: иногда подсматривайте. :) Тонкости: АА-тест, AAB-тест, тесты на операционке и ухудшающие тесты, основные проблемы AA или AAB-тесты Операционные и оффлайн-тесты ● Сложно кластеризовать ● ОНИ ОБЩАЮТСЯ ● Пользователи меняют свое поведение ● Чек-листы идентичного поведения ● Большие группы ● Ассессмент Ухудшающий тест Ухудшающий тест ● Волатильность конверсии ● Поиск точек роста Сложности сплит-тестов ● дорого и долго проводить ● требует большого количества пользователей продукта ● не дает информацию о том, как сделать отличную фичу ● дает информацию только о том, какой из вариантов в тесте лучше Ошибочки! ● о, вижу разницу, прекращаем сплит-тест! ● не учитывать сезонность/полную неделю ● мало трафика ● тестирование случайных идей и дурацкие тесты ● не смотреть сегменты и не проверять равномерность распределения данных ● много тестов одновременно ● о, ну все, мы проиграли, пофиг на качественные исследования! Список литературы • https://habr.com/ru/post/407977/ • "Статистика и котики" (Савельев Владимир) • https://gopractice.ru/summary/ • https://mindbox.ru/ab-test-calculator/ • https://ecommerce-in-ukraine.blogspot.com/2018/02/ab-vs.html • https://www.evanmiller.org/ab-testing/sample-size.html