Çiftli t-testleri

Grupların sayısı arttıkça, tek tek t-testleriyle ayrı karşılaştırmalar yapmak oldukça zahmetli olabilir. Neyse ki, pingouin paketinin .pairwise_tests() metodu işleri kolaylaştırır.

Bu egzersizde, ana sayfa DataFrame'ine yüklenmiş dört farklı açılış sayfası varyantı arasında ortalama sayfada kalma süresi (time-on-page) metriğindeki farkları keşfedeceksin.

homepage veri seti kullanılabilir durumda ve signup ile time_on_page sütunlarına sahip. DataFrame'deki her satır, ilgili landing_page'i ziyaret eden benzersiz bir kullanıcıyı temsil eder. signup sütunu ikili veriden oluşur: '1' kullanıcı kaydoldu, '0' sayfayı terk etti anlamına gelir; time_on_page sütunu ise her kullanıcının kaydolmadan ya da terk etmeden önce açılış sayfasında geçirdiği süreyi (saniye cinsinden) gösterir. pingouin, pandas ve numpy ile birlikte yüklenmiştir.

Bu egzersiz

Python ile A/B Testi

kursunun bir parçasıdır

Kursu Görüntüle

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Perform a pairwise t-test on signup, grouped by landing-page
pairwise = pingouin.pairwise_tests(data=homepage,
                                   dv="____",
                                   between="____",
                                   padjust="____")

print(pairwise)

Kodu Düzenle ve Çalıştır

Bu egzersiz

Python ile A/B Testi

kursunun bir parçasıdır

IntermediárioNível de habilidade

4.8+

Kursa Ücretsiz Başlayın

In this chapter, you’ll learn the foundations of A/B testing. You’ll explore clear steps and use cases, learn the reasons and value of designing and running A/B tests, and discover the most commonly used metrics design and estimation frameworks.

Exercise 1: What is A/B testing?Exercise 2: When an A/B test is not best Exercise 3: A/B testing steps Exercise 4: Randomization effects Exercise 5: Why run experiments?Exercise 6: Correlation visualization Exercise 7: Correlation or causation?Exercise 8: Metrics design and estimation Exercise 9: Means and proportions Exercise 10: Ad impressions metrics

In Chapter 2, you’ll cover the experiment design process. Starting with learning how to formulate strong A/B testing hypotheses, you’ll also cover statistical concepts such as power, error rates, and minimum detectable effects. You’ll finish the chapter by learning to estimate the appropriate sample size needed to yield conclusive results and tackle scenarios with multiple comparisons.

Exercise 1: Hypothesis formulation and distributions Exercise 2: Strong hypothesis formulation Exercise 3: Plotting distributions Exercise 4: Central limit theorem for means Exercise 5: Experimental design: setting up testing parameters Exercise 6: Interpreting p-values Exercise 7: Error rates in the wild Exercise 8: Experimental design: power analysis Exercise 9: Plotting power curves Exercise 10: Sample size for means Exercise 11: Sample size for proportions Exercise 12: Multiple comparisons tests Exercise 13: Is a multiple comparisons correction needed?Exercise 14: Corrected p-values

Here, you’ll discover a concrete workflow for cleaning, preprocessing, and exploring AB testing data, as well as learn the necessary sanity checks we need to follow to ensure valid results. You’ll explore a detailed explanation and example of analyzing difference in proportions A/B tests.

Exercise 1: Data cleaning and exploratory analysis Exercise 2: Proportions EDA Exercise 3: A/B test data cleaning Exercise 4: Sanity checks: Internal validity Exercise 5: SRM Exercise 6: Distributions balance Exercise 7: Sanity checks: external validity Exercise 8: Novelty effects detection Exercise 9: Simpson's paradox in action Exercise 10: Analyzing difference in proportions A/B tests Exercise 11: Difference in proportions A/B test Exercise 12: Interpretation of confidence intervals Exercise 13: Confidence intervals for proportions

In the final chapter, you’ll develop frameworks for analyzing differences in means and leveraging non-parametric tests when several assumptions aren't met. You’ll also learn how to apply the Delta method when analyzing ratio metrics and discover the best practices and some advanced topics to continue the A/B testing mastery journey.

Exercise 1: Ortalama farkını analiz etme A/B testleri Exercise 2: Ortalama farkı için T-testi Exercise 3: Çiftli t-testleri

Geçerli Egzersiz

Exercise 4: Parametrik olmayan istatistiksel testler Exercise 5: Parametrik mi, parametrik olmayan mı?Exercise 6: Mann-Whitney U testi Exercise 7: Bağımsızlık için ki-kare testi Exercise 8: Oran metrikleri ve delta yöntemi Exercise 9: Delta mı değil mi?Exercise 10: Delta yöntemi Exercise 11: A/B Testlerinde en iyi uygulamalar ve ileri konulara giriş Exercise 12: En iyi uygulamalar Exercise 13: Haftanın günleri etkisi Exercise 14: Kapanış: Python ile A/B testi