A / B тестування [Тариф Базовий] [Павло Бухтик]
Не впевнений у своїх А/Б тестах?
Навчися дизайн і проводити експерименти
як в Google, Uber і Amazon, а також вибудовувати experiment-driven культуру з нуля.
Для кого цей онлайн-курс:
Для аналітиків, які все ще не впевнені в своїх навичках і знаннях проведення А / Б, не відчувають структурного розуміння в своїй голові;
Тих, хто хоче вибудувати experiment-driven культуру в своїй компанії і виділитися цим на наступному performance-review.
Тих, хто не працював з А / Б або у кого їх було мало, через що отримує відмови на співбесідах через відсутність достатнього практичного досвіду і розуміння теорії;
Для продуктових менеджерів, продуктових дизайнерів, продуктових маркетологів і всіх, хто пов'язаний з продуктом і хоче перейняти кращі практики проведення а/б тестів. Для вас-окремі від технічних фахівців домашки і увагу.
Ти за адресою, якщо щось з цього-про тебе:
Не знаєш, як правильно задизайнити експеримент; плутаєшся, коли і чому застосовувати той чи інший стат. критерій; не впевнений в глибині і коректності результатів експерименту, які підводиш;
Працюєш з А / Б платформою, а все що всередині – чорний ящик, якому ти сліпо довіряєш.
Не проводив А / б на практиці, але дуже хочеш придбати практичний досвід, подизайнить експерименти, підрахувати і інтерпретувати результати для парочки тестів під наглядом досвідчених наставників.
Отримуєш відмови на інтерв'ю через те, що мало працював з А/Б експериментами.
Це ваш портрет після онлайн-курсу:
У тебе є структурне розуміння перевірки будь-яких продуктових гіпотез;
У тебе вироблена чітка послідовність дій для валідації бізнес-аспектів, дизайну, запуску, супроводу, Підведення підсумків, презентації результатів і закриття експериментів;
Ти можеш вибудувати процеси і методологію А/Б з нуля в компанії, в якій до цього ніколи раніше не проводилися експерименти;
Інтерв'юери дивується, звідки ти стільки знаєш про А / Б тести, враховуючи описаний тобою досвід в резюме.
Блок про культуру А / Б тестування в компаніях:
Поговоримо про культурні аспекти розвитку experiment-driven культури і розвитку аналітичної культури в компанії в цілому. Позначимо, як А / Б тести та інші види експериментів інтегруються в цілі і процеси компанії.
Вирішуємо кейси, пов'язані з культурними аспектами проведення експериментів. Зокрема про те, як виводити а/б тести та аналітику на якісно новий рівень.
Блок фундаменту А / Б:
Обговоримо, які бувають метрики бізнесу і продукту, плюси і мінуси різних їх класифікацій. Розберемося, як правильно мислити гіпотезами.
Навчимося вибирати хороші метрики для продуктових гіпотез і правильно будувати структури метрик на базі піраміди метрик.
Позначимо Типовий життєвий цикл а / б експериментів. Поговоримо про метрики експериментів – ключові, загороджувальні, проксі та інформаційні метрики. Навчимося приймати зважені рішення на основі цих метрик.
Для конкретних продуктових кейсів підберемо вдалі метрики експериментів.
Пройдемося по основних статистичних поняттях в контексті А / Б (H0 / H1 / alpha / потужність, p-value, MDE, розмір вибірок і т.д.). Розберемо різновиди метрик експериментів і статистичні критерії для роботи з ними. Познайомимося з симуляціями Монте-Карло і тим, чому вони відіграють велику роль в А/Б.
Аналітично і за допомогою симуляцій розрахуємо розмір вибірки для різних метрик і критеріїв. Порівняємо стат. критерії між собою.
Розповім про те, як влаштована система сплітування в великих компаніях, і як ти можеш впровадити подібну систему самостійно в своїй компанії. Навчимося перевіряти коректність роботи системи сплітування за допомогою А / а тестів.
Спроектуємо і реалізуємо власну систему сплітування. Подивимося, як це робиться в реальних умовах.
Блок про дизайн і проведення А / Б:
Зануримося в бізнес аспекти дизайну експериментів. Навчимося рахувати unit-економіку тесту, розберемо алгоритм підбору mde. Проговоримо, як обговорювати дизайн АБ-тесту зі стейкхолдерами. Зрозуміємо, коли потрібно розбивати групи незбалансовано.
Проведемо сесію зі збору та затвердження вимог для АБ-тесту. Також ти навчишся швидко прикидати MDE і вважати точку беззбитковості, що поліпшить твою комунікацію з продактом.
Навчимося дизайн і проводити експерименти як професіонали. Давайте обговоримо, як оцінити SRM / SSRM. Зрозуміємо, як виявити і побороти ефект новизни. Поговоримо про те, як підводити підсумки і завершувати експеримент. Обговоримо, як збільшити число експериментів через А/Б-платформу.
Подизайнимо АБ-експерименти-від гіпотези до презентації результатів.
Навчимося працювати Ratio-метрики - через лінеризацію, бутстреп і бутстреп-пуасона, дельта-метод. Розповім про плюси і мінуси кожного підходу. Розберемо проблему усереднення.
Задизайнимо експеримент з Ratio-метрикою. Пройдемося по основним методам роботи з ratio-метриками і порівняємо їх на практиці.
Поговоримо про різні сценарії, в яких виникає проблема множинного порівняння. Розберемо всі різновиди множинного тестування-багато гілок експерименту, багато метрик в експерименті (незалежних і залежних), а також гібридні варіанти. Визначимо кращі практики для роботи з кожним сценарієм. Тут же обговоримо Sequention-підхід, його плюси і мінуси.
Подизайнимо експерименти з кожним зі сценаріїв проблеми множинного порівняння. Подивимося, на скільки Sequention-підхід прискорює і чому він може не злетіти.
Блок просунутих тим В А / Б:
Поговоримо про те, як провести а/б, коли а/б провести не вдасться. Розглянемо такі методи, як Diff-in-Diff, Causal Impact, PSM, Matching Methods, Inst variables і подібні.
Вирішуємо кейси і порівняємо кожен з методів. Визначимо, коли і який краще застосовувати.
Позначимо і розберемо основні способи прискорення проведення експериментів – проксі-метрики, стратифікація, CUPED, VWE, рангова трансформація, формування ML-метрик і подібні.
Розберемо кейси дизайну АБ-тестів, починаючи з моменту, коли нам не вистачає часу / вибірки і на практиці подивимося, як різні підходи вплинуть на швидкість. Обудім результати застосування різних способів скорочення дисперсії в компаніях.
Дізнаємося, як проводити експерименти з мережевим ефектом. Навчимося виділяти альтернативні одиниці рандомізації, дизайн тести синтетичним контролем і зрозуміємо, як дизайн експерименти в соціальних мережах.
Навчимося бачити мережеві ефекти і подизайнимо експерименти з ними. Наприклад, на пошуку HH, з дарксторами Samokat і Ozon Fresh, з ціноутворенням Яндекс.Доставки, для пунктів видачі Avito.
Програма може змінюватися і доповнюватися в процесі курсу в залежності від індивідуальних особливостей і потреб потоку.
Тариф Базовий
Ціна: 35000р.
Не впевнений у своїх А/Б тестах?
Навчися дизайн і проводити експерименти
як в Google, Uber і Amazon, а також вибудовувати experiment-driven культуру з нуля.
Для кого цей онлайн-курс:
Для аналітиків, які все ще не впевнені в своїх навичках і знаннях проведення А / Б, не відчувають структурного розуміння в своїй голові;
Тих, хто хоче вибудувати experiment-driven культуру в своїй компанії і виділитися цим на наступному performance-review.
Тих, хто не працював з А / Б або у кого їх було мало, через що отримує відмови на співбесідах через відсутність достатнього практичного досвіду і розуміння теорії;
Для продуктових менеджерів, продуктових дизайнерів, продуктових маркетологів і всіх, хто пов'язаний з продуктом і хоче перейняти кращі практики проведення а/б тестів. Для вас-окремі від технічних фахівців домашки і увагу.
Ти за адресою, якщо щось з цього-про тебе:
Не знаєш, як правильно задизайнити експеримент; плутаєшся, коли і чому застосовувати той чи інший стат. критерій; не впевнений в глибині і коректності результатів експерименту, які підводиш;
Працюєш з А / Б платформою, а все що всередині – чорний ящик, якому ти сліпо довіряєш.
Не проводив А / б на практиці, але дуже хочеш придбати практичний досвід, подизайнить експерименти, підрахувати і інтерпретувати результати для парочки тестів під наглядом досвідчених наставників.
Отримуєш відмови на інтерв'ю через те, що мало працював з А/Б експериментами.
Це ваш портрет після онлайн-курсу:
У тебе є структурне розуміння перевірки будь-яких продуктових гіпотез;
У тебе вироблена чітка послідовність дій для валідації бізнес-аспектів, дизайну, запуску, супроводу, Підведення підсумків, презентації результатів і закриття експериментів;
Ти можеш вибудувати процеси і методологію А/Б з нуля в компанії, в якій до цього ніколи раніше не проводилися експерименти;
Інтерв'юери дивується, звідки ти стільки знаєш про А / Б тести, враховуючи описаний тобою досвід в резюме.
Блок про культуру А / Б тестування в компаніях:
Поговоримо про культурні аспекти розвитку experiment-driven культури і розвитку аналітичної культури в компанії в цілому. Позначимо, як А / Б тести та інші види експериментів інтегруються в цілі і процеси компанії.
Вирішуємо кейси, пов'язані з культурними аспектами проведення експериментів. Зокрема про те, як виводити а/б тести та аналітику на якісно новий рівень.
Блок фундаменту А / Б:
Обговоримо, які бувають метрики бізнесу і продукту, плюси і мінуси різних їх класифікацій. Розберемося, як правильно мислити гіпотезами.
Навчимося вибирати хороші метрики для продуктових гіпотез і правильно будувати структури метрик на базі піраміди метрик.
Позначимо Типовий життєвий цикл а / б експериментів. Поговоримо про метрики експериментів – ключові, загороджувальні, проксі та інформаційні метрики. Навчимося приймати зважені рішення на основі цих метрик.
Для конкретних продуктових кейсів підберемо вдалі метрики експериментів.
Пройдемося по основних статистичних поняттях в контексті А / Б (H0 / H1 / alpha / потужність, p-value, MDE, розмір вибірок і т.д.). Розберемо різновиди метрик експериментів і статистичні критерії для роботи з ними. Познайомимося з симуляціями Монте-Карло і тим, чому вони відіграють велику роль в А/Б.
Аналітично і за допомогою симуляцій розрахуємо розмір вибірки для різних метрик і критеріїв. Порівняємо стат. критерії між собою.
Розповім про те, як влаштована система сплітування в великих компаніях, і як ти можеш впровадити подібну систему самостійно в своїй компанії. Навчимося перевіряти коректність роботи системи сплітування за допомогою А / а тестів.
Спроектуємо і реалізуємо власну систему сплітування. Подивимося, як це робиться в реальних умовах.
Блок про дизайн і проведення А / Б:
Зануримося в бізнес аспекти дизайну експериментів. Навчимося рахувати unit-економіку тесту, розберемо алгоритм підбору mde. Проговоримо, як обговорювати дизайн АБ-тесту зі стейкхолдерами. Зрозуміємо, коли потрібно розбивати групи незбалансовано.
Проведемо сесію зі збору та затвердження вимог для АБ-тесту. Також ти навчишся швидко прикидати MDE і вважати точку беззбитковості, що поліпшить твою комунікацію з продактом.
Навчимося дизайн і проводити експерименти як професіонали. Давайте обговоримо, як оцінити SRM / SSRM. Зрозуміємо, як виявити і побороти ефект новизни. Поговоримо про те, як підводити підсумки і завершувати експеримент. Обговоримо, як збільшити число експериментів через А/Б-платформу.
Подизайнимо АБ-експерименти-від гіпотези до презентації результатів.
Навчимося працювати Ratio-метрики - через лінеризацію, бутстреп і бутстреп-пуасона, дельта-метод. Розповім про плюси і мінуси кожного підходу. Розберемо проблему усереднення.
Задизайнимо експеримент з Ratio-метрикою. Пройдемося по основним методам роботи з ratio-метриками і порівняємо їх на практиці.
Поговоримо про різні сценарії, в яких виникає проблема множинного порівняння. Розберемо всі різновиди множинного тестування-багато гілок експерименту, багато метрик в експерименті (незалежних і залежних), а також гібридні варіанти. Визначимо кращі практики для роботи з кожним сценарієм. Тут же обговоримо Sequention-підхід, його плюси і мінуси.
Подизайнимо експерименти з кожним зі сценаріїв проблеми множинного порівняння. Подивимося, на скільки Sequention-підхід прискорює і чому він може не злетіти.
Блок просунутих тим В А / Б:
Поговоримо про те, як провести а/б, коли а/б провести не вдасться. Розглянемо такі методи, як Diff-in-Diff, Causal Impact, PSM, Matching Methods, Inst variables і подібні.
Вирішуємо кейси і порівняємо кожен з методів. Визначимо, коли і який краще застосовувати.
Позначимо і розберемо основні способи прискорення проведення експериментів – проксі-метрики, стратифікація, CUPED, VWE, рангова трансформація, формування ML-метрик і подібні.
Розберемо кейси дизайну АБ-тестів, починаючи з моменту, коли нам не вистачає часу / вибірки і на практиці подивимося, як різні підходи вплинуть на швидкість. Обудім результати застосування різних способів скорочення дисперсії в компаніях.
Дізнаємося, як проводити експерименти з мережевим ефектом. Навчимося виділяти альтернативні одиниці рандомізації, дизайн тести синтетичним контролем і зрозуміємо, як дизайн експерименти в соціальних мережах.
Навчимося бачити мережеві ефекти і подизайнимо експерименти з ними. Наприклад, на пошуку HH, з дарксторами Samokat і Ozon Fresh, з ціноутворенням Яндекс.Доставки, для пунктів видачі Avito.
Програма може змінюватися і доповнюватися в процесі курсу в залежності від індивідуальних особливостей і потреб потоку.
Тариф Базовий
- Для тих, хто хоче просто отримати матеріали і рухатися в своєму темпі
- Всі теоретичні та практичні заняття з програми
- Записи занять
- Без доступу до чату
- Без перевірки домашек
Ціна: 35000р.
https://pavelbukhtik.notion.site/33f57ec57aaa4cce8caf5eb134cb0e89