Ефект дня тижня
Хоча A/B‑тестування дає змогу контролювати зовнішні чинники, як‑от погода та свята, деякі варіанти можуть мати сильніший або слабший вплив, який варто врахувати, щоб повністю відобразити поведінку користувачів у періоди коливань. Залежно від відстежуваного метрика, вам може знадобитися запускати A/B‑тести повними тижневими інтервалами. Деякі метрики демонструють сезонність і залежать від свят, вихідних тощо, тоді як інші змінюються не так помітно. Як дата‑саєнтист, саме ви маєте порадити команді, чи можна зупиняти тест після досягнення потрібного обсягу вибірки, чи варто подовжити його на кілька днів, щоб покрити сезонні ефекти, зокрема ефект дня тижня.
Проаналізуйте набір даних novelty, завантажений для вас, щоб обрати метрики, які потрібно запускати тижневими інтервалами. pandas і matplotlib також завантажено.
Ця вправа є частиною курсу
A/B Testing на Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Create a line plot
novelty.____('____', '____')
plt.title('Purchase Rate Over Test Duration')
plt.ylabel('Purchase Rate [%]')
plt.ylim([0, 0.04])
plt.show()