SRM
Wenn wir ein Experiment so entwerfen, dass Anmeldeeinheiten (z. B. Nutzer) zu einem bestimmten Prozentsatz pro Variante zugewiesen werden, erwarten wir leichte Abweichungen – etwa durch Logging-Probleme, Verzögerungen oder kleinere Instrumentierungsfehler. Wenn diese Abweichung jedoch größer ist als erwartet, deutet das meist auf ein größeres Problem hin, das unsere Testergebnisse verfälschen und ungültig machen kann. Ziel dieser Übung ist es, die statistischen Techniken zu betrachten, mit denen du Fälle erkennst, in denen die Abweichung bei der Zuteilung zu groß ist, um sie allein dem Zufall zuzuschreiben.
Als Analytics Engineer kann es zu deiner Rolle gehören, Frameworks zum Erkennen von Sample-Ratio-Mismatches in A/B-Tests zu entwerfen und sogar zu automatisieren. Das checkout-DataFrame ist zusammen mit den Bibliotheken pandas und numpy für dich geladen. Betrachte die Kontrollgruppe als checkout-Design „A“ und die Treatment-Gruppe als „B“.
Diese Übung ist Teil des Kurses
A/B-Tests in Python
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)