パラメトリックかノンパラメトリックか？

統計的有意性のためにパラメトリック検定を用いるには、ランダム性、正規性、独立性という前提が満たされていることを確認する必要があります。実務で行う多くのオンライン実験では、トラフィックが十分に大きければ、これらの前提は概ね満たされます。しかし、分野や業界によっては、いずれかの前提が成り立たないケースに出会うことも珍しくありません。その場合は、データに厳密な前提を課さない、適切なノンパラメトリック検定を選ぶほうが安全です。