НачатьНачать бесплатно

Баланс распределений

Ещё один быстрый способ проверить наличие смещения из-за нарушения рандомизации в A/B-тестах — оценить, насколько сбалансированы распределения метрик и атрибутов, которые не должны меняться между вариантами. Значительные различия, например, в доле пользователей с определёнными устройствами, браузерами или операционными системами (при достаточно большой выборке) могут указывать на серьёзные проблемы во внутренней настройке теста. Изучите наборы данных AdSmart и checkout, загруженные для вас, и проверьте внутреннюю валидность по распределению атрибутов. Какой из наборов данных имеет более корректную внутреннюю настройку?

Источник набора данных Adsmart на Kaggle доступен по ссылке.

Это упражнение является частью курса

A/B-тестирование в Python

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)
Редактировать и запускать код