Баланс распределений
Ещё один быстрый способ проверить наличие смещения из-за нарушения рандомизации в A/B-тестах — оценить, насколько сбалансированы распределения метрик и атрибутов, которые не должны меняться между вариантами. Значительные различия, например, в доле пользователей с определёнными устройствами, браузерами или операционными системами (при достаточно большой выборке) могут указывать на серьёзные проблемы во внутренней настройке теста. Изучите наборы данных AdSmart и checkout, загруженные для вас, и проверьте внутреннюю валидность по распределению атрибутов. Какой из наборов данных имеет более корректную внутреннюю настройку?
Источник набора данных Adsmart на Kaggle доступен по ссылке.
Это упражнение является частью курса
A/B-тестирование в Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)