統計的有意性を評価する

パーソナライズ版がコントロールより良い結果だったことがわかったので、次はその結果が統計的に有意かどうかを判断します。統計的有意性は、そのテスト結果がたまたま良かったのか、バリアント間の真の差を反映しているのかを理解するうえで重要です。これにより、マーケティングチームはこの機能をロールアウトするかどうかを納得感をもって判断できます。

control と personalization を入力として、stats.ttest_ind() を試してください。

コントロールとパーソナライズの差は統計的に有意ですか？