あなたはAnalytics Engineerで、偽陽性率の膨張を避けるために多重比較の補正が必要になるかもしれない、いくつかの実験デザインのシナリオに直面しているとします。各シナリオの条件を考え、各実験でテストする指標数、バリアント数、サブカテゴリ数が補正の必要性にどう影響するかを考えてみてください。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、A/Bテストの基礎を学びます。具体的な手順やユースケースを確認し、A/Bテストを設計・実行する理由と価値を理解します。あわせて、よく使われる指標設計と推定のフレームワークも紹介します。
第2章では、実験設計のプロセスを扱います。強いA/Bテストの仮説の立て方から始め、検出力（power）、誤り率、最小検出可能効果（MDE）などの統計概念を学びます。最後に、結論を導くのに適切なサンプルサイズの見積もり方法と、多重比較のシナリオへの対処方法を身につけます。
現在の演習
この章では、A/Bテストデータのクリーニング、前処理、探索の具体的なワークフローを学び、妥当な結果を得るために必要なサニティチェックを確認します。さらに、比率の差に関するA/Bテストの分析を、詳しい解説と例で取り上げます。
最終章では、平均値の差の分析フレームワークを構築し、前提が満たされない場合に非パラメトリック検定を活用する方法を学びます。さらに、比率指標の分析でDelta法を適用する方法や、A/Bテスト習熟に向けたベストプラクティスと発展的なトピックも紹介します。
