分布のバランスを確認する

A/Bテストでランダム化の偏りを手早く確認するもう一つの方法は、本来はバリアント間で変化しないはずの指標や属性の分布が、どの程度バランスしているか（あるいはアンバランスか）を確認することです。サンプルサイズが十分に大きいと仮定したうえで、デバイス・ブラウザ・OSの割合に大きな差が見られる場合は、内部設定により大きな問題がある兆候かもしれません。読み込まれている AdSmart と checkout の各データセットを確認し、属性の分布を用いて内部妥当性をチェックしてください。どちらのデータセットのほうが内部設定がより妥当に見えますか？

Adsmart のKaggleデータセットの出典はこちらです。