Czym właściwie jest moc testu?

Terminologia związana z mocą testu potrafi być dość myląca. Na przykład moc testu t dla dwóch próbek to:

Prawdopodobieństwo odrzucenia hipotezy zerowej na rzecz alternatywnej, przy założeniu, że między dwiema grupami rzeczywiście istnieje różnica w średnich populacyjnych.

Brzmi skomplikowanie!

Wyobraź sobie, że analizujesz kampanię marketingową i chcesz sprawdzić, czy zwiększa ona wydatki klientów. Przeprowadzasz test t dla dwóch próbek (klienci objęci kampanią kontra klienci nieobjęci), aby porównać średnie kwoty wydane przez każdą z grup.