SRM
Wanneer we een experiment ontwerpen om inschrijfunits (bijv. gebruikers) per variant met een bepaald percentage toe te wijzen, verwachten we kleine afwijkingen door logproblemen, vertragingen, kleine instrumentatiefouten, enzovoort. Als die afwijking echter groter is dan verwacht, wijst dat meestal op een groter probleem dat onze testresultaten kan ongeldig maken en vertekenen. Het doel van deze oefening is om de statistische technieken te verkennen waarmee je gevallen kunt opsporen waarin de toewijzingsmismatch te groot is om alleen aan toeval toe te schrijven.
Als analytics engineer kan het jouw taak zijn om frameworks te ontwerpen en zelfs te automatiseren om sample ratio mismatches in A/B-tests te detecteren. De checkout DataFrame is voor je geladen, samen met de bibliotheken pandas en numpy. We beschouwen de controlegroep als checkout-ontwerp 'A' en de treatmentgroep als 'B'.
Deze oefening maakt deel uit van de cursus
A/B-testen in Python
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)