検出力曲線をプロットする

A/Bテストを実施する前に検出力分析（パワー分析）を行うことは、最も重要なステップの一つです。これにより、結論に至る可能性を高め、各テストに割り当てるリソースや期間を適切に計画できます。さらに、検出力曲線をプロットすると、特定のパラメータを変化させたときに、所望の信頼水準を達成するために必要なサンプルサイズがどのように変わるかを可視化しやすくなります。サンプルサイズを大きくすると結論に達する可能性は高まりますが、検出力曲線が飽和していくため、過度にデータを集めたり時間をかけたりするのはリソースの無駄になります。

それでは、実際にどのように機能するか見ていきましょう。