Урок 1: "Проверка гипотез и поиск точек роста с помощью A/B-тестирования"
Как мы принимаем решения о продуктовых изменениях
В чем уникальная особенность A/B тестов
Преимущества и недостатки A/B тестирования
Что можно тестировать и какие границы применимости у A/B тестов
Урок 2: "Основы математической статистики для A/B тестирования"
"Что такое метод выборочных обследований
Как доверительный интервал позволяет давать оценку неопределенности
Как рассчитывать доверительные интервалы
Как использовать доверительные интервалы к unit-экономике"
Урок 3: "Статистический тест для оценки результатов A/B эксперимента"
Как устроен статистический тест на различия параметров выборок
Как уровень доверия связан с вероятностью получить ложноположительный результат
Что такое мощность теста
Как рассчитать необходимый размер
Урок 4: "Цель и метрики A/B теста"
Гипотеза в основе A/B теста
Целевая метрика A/B теста
Какие бывают метрики
Вспомогательные и контрольные метрики
Процедура принятия решения
Урок 5: "Практическая реализация A/B теста"
Объект рандомизации
Аудитория эксперимента
Инфраструктура для экспериментирования
Жизненный цикл теста
Тестирования в нативных приложениях
Тестирование когда данных мало (например, B2B)
Урок 6: "Продвинутые методики тестирования"
A/A тесты
Мультивариантные тесты и двухэтапное тестирование
Тест на не-ухудшение метрики
Сколько тестов может идти одновременно
Альтернативные методики тестирования
Синтетические метрики на основе ML
Тестирование решений на основе ML
Многорукие бандиты
Урок 7: "Инструменты для A/B тестирования"
Подготовка данных для A/B-тестов
Анализ результатов A/B-тестов
Используемые инструменты и практика