SRM

あるバリアントごとに一定の割合で被験者（例：ユーザー）を割り当てる実験を設計すると、記録上の問題や遅延、軽微な計測バグなどにより、多少のずれが生じることは想定内です。しかし、そのずれが想定を大きく超える場合、テスト結果を無効化したり偏らせたりする重大な問題の兆候であることが多いです。この演習の目的は、割り当ての不一致が偶然だけでは説明できないほど大きいケースを検知するための統計手法を確認することです。

アナリティクスエンジニアとして、A/Bテストにおけるサンプル比率の不一致（SRM）を検出する仕組みを設計・自動化する役割を担うことがあります。pandas と numpy ライブラリとともに、checkout DataFrame が読み込まれています。ここでは、コントロール群を checkout のデザイン 'A'、トリートメント群を 'B' とします。