Novelty effects की पहचान
Novelty effects अक्सर उतने कम नहीं होते जितना अधिकतर Data Scientists और Engineers सोचते हैं. किसी एक नई, आकर्षक फीचर पर A/B टेस्ट चलाना और शुरुआती कुछ दिनों में usage metrics में बड़ी बढ़त देखकर तुरंत फैसला कर देना, junior analysts की एक आम गलती है.
आपके लिए लोड किया गया novelty डेटासेट, दो variants के बीच प्रति यूज़र पेज पर औसत समय (Time on Page — ToP) के फर्क का डेटा देता है. समय के साथ परिणामों की जाँच कीजिए और देखें कि क्या novelty effects के कोई संकेत मिलते हैं. क्या आप टेस्ट की शुरुआत से अंत तक के सभी परिणामों को शामिल करेंगे?
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में A/B Testing
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()