Yenilik etkilerini tespit etme
Yenilik etkileri, çoğu Veri Bilimci ve Mühendisin beklediğinden daha sık görülür. Yeni ve havalı bir özelliği A/B testine alıp, ilk birkaç günde kullanım metriklerinde büyük bir artış görünce hemen karar vermek, genç analistlerin sık düştüğü hatalardan biridir.
Senin için yüklenen novelty veri kümesi, iki varyant arasındaki kullanıcı başına sayfada geçirilen ortalama süre (ToP) farkına ilişkin veriler içeriyor. Zaman içindeki sonuçları incele ve yenilik etkilerine dair işaretler olup olmadığına bak. Testin başlangıcından sonuna kadarki tüm sonuçları dahil eder miydin?
Bu egzersiz, kursun bir parçasıdır
Python ile A/B Testi
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()