Equilibrio delle distribuzioni
Un altro modo per verificare rapidamente la presenza di bias di randomizzazione nei nostri test A/B è osservare quanto sono bilanciate (o sbilanciate) le distribuzioni di metriche e attributi che non dovrebbero cambiare tra le diverse varianti. Differenze marcate nella percentuale di determinati dispositivi, browser o sistemi operativi, ad esempio, assumendo che i nostri campioni siano abbastanza grandi, potrebbero essere il sintomo di problemi più ampi nella nostra configurazione interna. Esamina i dataset AdSmart e checkout già caricati e verifica la validità interna usando le distribuzioni degli attributi. Quale dataset sembra avere una configurazione interna più valida?
La fonte del dataset Adsmart su Kaggle è collegata qui. (https://www.kaggle.com/datasets/osuolaleemmanuel/ad-ab-testing)
Questo esercizio fa parte del corso
A/B Testing in Python
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)