SRM
Quando progettiamo un esperimento per assegnare le unità di arruolamento (ad es. utenti) a una certa percentuale per variante, ci aspettiamo piccole variazioni dovute a problemi di logging, ritardi, piccoli bug di strumentazione, ecc. Tuttavia, quando lo scostamento è maggiore del previsto, di solito è un segnale di un problema più ampio che potrebbe invalidare e introdurre bias nei risultati del test. L’obiettivo di questo esercizio è esaminare le tecniche statistiche che ti permettono di intercettare i casi in cui il disallineamento di allocazione è troppo grande per essere attribuito al caso.
Come analytics engineer, potresti dover progettare e persino automatizzare framework per individuare gli sample ratio mismatch nei test A/B. Il DataFrame checkout è già caricato per te insieme alle librerie pandas e numpy. Consideriamo il gruppo di controllo come il design 'A' di checkout e il gruppo di trattamento come 'B'.
Questo esercizio fa parte del corso
A/B Testing in Python
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)