Verteilungsausgleich

Eine weitere schnelle Möglichkeit, Randomisierungsverzerrungen in unseren A/B-Tests zu prüfen, ist der Blick darauf, wie ausgewogen oder unausgewogen die Verteilungen von Metriken und Attributen sind, die sich zwischen den Varianten nicht ändern sollten. Größere Unterschiede beim Anteil bestimmter Geräte, Browser oder Betriebssysteme zum Beispiel – vorausgesetzt, unsere Stichproben sind groß genug – können auf größere Probleme in unserem internen Setup hindeuten. Untersuche die Datensätze AdSmart und checkout, die für dich geladen wurden, und überprüfe die interne Validität anhand der Attributverteilungen. Welcher Datensatz scheint intern valider aufgesetzt zu sein?

Die Adsmart Kaggle-Datenquelle findest du hier.