Симулятор A/B тестов продвинутая практика [2022]
karpov.courses
Александр Сахнов, Валерий Бабушкин, Николай Назаров
Расскажем всё о проведении экспериментов в компаниях.
На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. АналитикЗанимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса
- Пройдите путь начинающего аналитика
- Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
- Получайте обратную связь от практикующих специалистов
- Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
- Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
- Разрабатывайте дизайн экспериментов и анализируйте результаты
- Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
- Применять современные методы повышения чувствительности A/B-тестов
- Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
- Проводить множество экспериментов параллельно
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношенийМенеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тестыЕсть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестированиеУ нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Модуль 1 - Основы статистики
- Изучим основы статистики, которых будет достаточно для прохождения курса.
- В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
- Выдвинем гипотезы, оценим результаты первого эксперимента.
- Узнаем, как появилась идея проверять гипотезы.
- Создадим собственный критерий принятия решений.
- Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
- Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
- Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
- Познакомимся с методом бутстрэп.
- Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
- Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
- Научимся сокращать размер выборки, необходимый для проведения эксперимента.
- Выбрать метрику для эксперимента не всегда просто.
- Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
- Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
- Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
- Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
- При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
- Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
https://karpov.courses/simulator-ab