Сравнение выборок
- Какие тесты используются для сравнения выборок?
Т-тест Стьюдента:
- Используется для сравнения средних двух выборок (когда выборки маленькие, n<30). Применяется при условии нормальности распределения данных и приблизительно равной дисперсии в группах
- Парный т-тест: для зависимых выборок
- Независимый т-тест: для независимых выборок
- Одновыборочный т-тест: для сравнения среднего выборки с известным значением
U-тест Манна–Уитни:
- Непараметрический тест для сравнения двух независимых выборок
- Используется, когда данные не соответствуют нормальному распределению
Z-тест:
- Используется для проверки гипотез относительно средних или пропорций в больших выборках
- Предполагает, что выборки подчиняются нормальному распределению, и выборка большая (обычно n>30)
Критерий χ² (хи-квадрат):
- Применяется для категориальных данных
- Критерий согласия: проверяет, соответствуют ли распределения наблюдаемых и ожидаемых значений
- Критерий независимости: проверяет взаимосвязь между двумя категориальными переменными
Проверка на нормальность
- Какие методы проверки распределений на нормальность существуют?
Тест Шапиро–Уилка:
- Подходит для небольших и средних выборок (до 2000 наблюдений)
- Гипотеза: если p-значение больше выбранного уровня значимости (например, 0.05), можно предположить, что распределение нормальное
Тест Колмогорова–Смирнова:
- Применяется для проверки соответствия данных нормальному распределению
- Менее точен для небольших выборок и чувствителен к форме распределения
- Используется реже, чем тест Шапиро-Уилка, так как может быть менее мощным
Q-Q Plot (график квантиль-квантиль):
- Построение квантилей данных против квантилей нормального распределения
- Если данные нормальны, точки будут располагаться вдоль линии
- Один из наиболее наглядных методов, позволяющий быстро оценить отклонения от нормальности
A/B и A/A тесты
- Объясните, как работают A/B и A/A тесты. Как определить размер выборки для A/B теста?
- Уровень значимости (α): обычно 5% (0.05) — вероятность ложноположительного результата
- Мощность теста (1−β): обычно 80% или 90% — вероятность обнаружения реального эффекта
- Минимальный детектируемый эффект (MDE): минимальный уровень различий, который необходимо обнаружить. Чем меньше эффект — тем больше выборка
- Базовая конверсия: текущий уровень конверсии для варианта A
- Как сравнивать тестовую и контрольную группы в пилоте, где на результат влияет человеческий фактор?
Ошибки и гипотезы
- Что такое ошибка первого и второго рода?
- Ошибка первого рода: нулевая гипотеза отвергается, хотя она верна
- Ошибка второго рода: нулевая гипотеза принимается, хотя она ложна
- Что такое p-value и как его интерпретировать?
- P-value — вероятность получения таких же (или более экстремальных) результатов при условии, что нулевая гипотеза верна. Чем меньше p-value, тем менее вероятно, что данные согласуются с нулевой гипотезой
- Как рассчитать мощность статистического критерия?
- Мощность зависит от уровня значимости, MDE, размера выборки и стандартного отклонения
- Есть нулевая гипотеза, p-value = 0,01, α = 0,05. Принимаем ли мы нулевую гипотезу?
Метрики и разложения
- Какие метрики можно использовать для оценки модели?
- Как работают разложения матриц? Какие методы существуют?
Основные понятия
- Что такое центральная предельная теорема (ЦПТ) и закон больших чисел (ЗБЧ)?
- ЦПТ: при достаточно большом размере выборки распределение средних значений стремится к нормальному, вне зависимости от начального распределения данных
- ЗБЧ: по мере увеличения размера выборки среднее значение выборки приближается к математическому ожиданию генеральной совокупности
- Что такое шум и как его фильтровать?