Co to vlastně je síla testu?

Terminologie kolem síly testu může být dost matoucí. Například síla dvouvýběrového t-testu je:

Pravděpodobnost, že zamítneme nulovou hypotézu ve prospěch alternativní, za předpokladu, že mezi oběma skupinami skutečně existuje rozdíl v populačních průměrech.

To je pořádné sousto!

Představ si, že analyzuješ marketingovou kampaň a chceš zjistit, jestli zvyšuje výdaje zákazníků. Provedeš dvouvýběrový t-test (zákazníci vystavení kampani versus zákazníci bez jejího vlivu), abys porovnal/a průměrné utracené částky v obou skupinách.