Збалансованість розподілів
Ще один спосіб швидко перевірити наявність упередженості рандомізації в наших A/B‑тестах — подивитися, наскільки збалансовані або розбалансовані розподіли метрик і атрибутів, які не мають змінюватися між різними варіантами. Будь-які суттєві відмінності у відсотках певних пристроїв, браузерів чи операційних систем, за умови, що наші вибірки достатньо великі, можуть свідчити про серйозніші проблеми у внутрішньому налаштуванні. Ознайомтеся з наборами даних AdSmart і checkout, які вже завантажено для вас, і перевірте внутрішню валідність за допомогою розподілів атрибутів. Який набір даних має більш коректне внутрішнє налаштування?
Джерело набору даних Adsmart на Kaggle наведене тут. (https://www.kaggle.com/datasets/osuolaleemmanuel/ad-ab-testing)
Ця вправа є частиною курсу
A/B Testing на Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)