始める無料で始める

デルタ法

デルタ法は、A/Bテストで最も実践的な手法の一つです。データサイエンティストとして、各バリアントへのユーザーの割り当ては一貫した体験を提供するために user_id に基づく一方で、分析の単位はページビューやセッションなど、より細かな粒度になるケースによく出会います。

この演習では、バリアントAとCの間で、合計 order_value を page_view で割った比率指標の差を分析します。pandas、numpy とともに、比率指標の分散を推定するための事前定義関数 var_delta()、および比率指標のz検定を行う ztest_delta() が読み込まれた checkout のDataFrameが用意されています。

この演習はコースの一部です

Pythonで学ぶA/Bテスト

コースを見る

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Create DataFrames for per user metrics for variants A and C
A_per_user = pd.____({'order_value':checkout[checkout['checkout_page']=='A'].groupby('____')['order_value'].____()
                            ,'page_view':checkout[checkout['checkout_page']=='A'].groupby('____')['user_id'].____()})

C_per_user = pd.____({'order_value':checkout[checkout['checkout_page']=='C'].groupby('____')['order_value'].____()
                           ,'page_view':checkout[checkout['checkout_page']=='C'].groupby('____')['user_id'].____()})
コードを編集して実行