比率系の指標を分析するとき、対象の指標で用いる解析単位がランダム化単位よりも細かいことがあります。たとえば user_id でランダム化し、セッションあたりやページビューあたりの指標への影響を調べる場合です。これは、有意差検定で用いる分散の計算に関するいくつかの仮定に反します。Delta method を使うと、この不一致を補正できます。
user_id
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、A/Bテストの基礎を学びます。具体的な手順やユースケースを確認し、A/Bテストを設計・実行する理由と価値を理解します。あわせて、よく使われる指標設計と推定のフレームワークも紹介します。
第2章では、実験設計のプロセスを扱います。強いA/Bテストの仮説の立て方から始め、検出力（power）、誤り率、最小検出可能効果（MDE）などの統計概念を学びます。最後に、結論を導くのに適切なサンプルサイズの見積もり方法と、多重比較のシナリオへの対処方法を身につけます。
この章では、A/Bテストデータのクリーニング、前処理、探索の具体的なワークフローを学び、妥当な結果を得るために必要なサニティチェックを確認します。さらに、比率の差に関するA/Bテストの分析を、詳しい解説と例で取り上げます。
最終章では、平均値の差の分析フレームワークを構築し、前提が満たされない場合に非パラメトリック検定を活用する方法を学びます。さらに、比率指標の分析でDelta法を適用する方法や、A/Bテスト習熟に向けたベストプラクティスと発展的なトピックも紹介します。
現在の演習
