SRM
जब हम किसी प्रयोग को इस तरह डिज़ाइन करते हैं कि प्रत्येक वेरिएंट में एक तय प्रतिशत पर एनरोलमेंट यूनिट्स (जैसे यूज़र्स) आवंटित हों, तो हमें लॉगिंग इश्यूज़, देरी, छोटे-मोटे इंस्ट्रुमेंटेशन बग्स आदि के कारण हल्की-फुल्की भिन्नता की उम्मीद रहती है। लेकिन जब यह विचलन अपेक्षा से अधिक हो जाए, तो यह आमतौर पर किसी बड़े मुद्दे का संकेत होता है, जो हमारे टेस्ट रिज़ल्ट्स को अमान्य बना सकता है और उनमें बायस ला सकता है। इस अभ्यास का उद्देश्य उन सांख्यिकीय तकनीकों की जाँच करना है जो आपको ऐसी स्थितियाँ पकड़ने में सक्षम बनाती हैं जहाँ आवंटन का मिसमैच इतना बड़ा हो कि उसे सिर्फ़ संयोग पर न छोड़ा जा सके.
एक एनालिटिक्स इंजीनियर के रूप में, आपसे A/B टेस्ट्स में सैंपल रेशियो मिसमैच पकड़ने के लिए फ़्रेमवर्क्स डिज़ाइन करने और उन्हें ऑटोमेट करने की अपेक्षा की जा सकती है। checkout DataFrame आपके लिए pandas और numpy लाइब्रेरीज़ के साथ लोड है। मान लीजिए कि कंट्रोल ग्रुप checkout डिज़ाइन 'A' है और ट्रीटमेंट ग्रुप 'B' है।
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में A/B Testing
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)