§ 1. Що дасть інтенсив
Як часто у своїй роботі ви стикаєтеся з ідеєю провести A/B тест і перевірити гіпотезу на реальних даних?
Ми думаємо, що регулярно.
Але перш ніж запустити експеримент, найчастіше виникають такі питання:
Чи вистачить нам даних?
Що робити,якщо мені не вистачатиме даних?
Як зрозуміти, що мені потрібно запускати саме цю гіпотезу з 100 інших?
Як зрозуміти, що
результати експерименту дадуть зростання для бізнесу?
Це базові питання, на які потрібно вміти відповідати як продакт-менеджеру так і аналітику.
за підсумками курсу кожен учасник отримає гайдбук аналізу A/B тестів
На курсі ми розберемо основні методологічні та математичні проблеми A/B тестування.
§ 2. Програма інтенсиву
Які бувають експерименти: типи експериментів, типи метрик і огляд тем курсу
перший день
Описові статистики: дисперсія, стандартне відхилення, квадратична помилка і ЦПТ
Огляд класичних статистичних критеріїв: параметричні та непараметричні
Способи визначення мінімального обсягу вибірки і розрахунок mde
другий день
A/B/X-тестування і множинна перевірка гіпотез
третій день
Бутстрап: повторні вибірки та квантильна оцінка метрик
Нормалізація і трансформування метрик
Методи перевірки якості систем сплітування: A/A-тестування
четвертий день
Прискорення експериментів: CUPED і стратифікація
Збільшення чутливості ratio-метрик
П'ятий день
https://privatelink.de/?https://www.experiment-fest.ru/