Detectarea derivei datelor folosind testul Kolmogorov-Smirnov

După ce ai implementat cu succes modelul de predicție a bolilor cardiace, ai monitorizat performanța acestuia și datele de intrare. Ai observat că distribuția unor caracteristici cheie din datele recente colectate în februarie arată puțin diferit față de datele pe care ai antrenat modelul în ianuarie. Astfel de discrepanțe pot afecta performanța modelului, așa că este esențial să le detectezi și să le rezolvi.

În acest exercițiu, vei folosi testul Kolmogorov-Smirnov (K-S) pentru a detecta orice potențială derivă a datelor între seturile de date din ianuarie și februarie. Seturile de date eșantion january_data și february_data sunt deja încărcate pentru tine.

Acest exercițiu face parte din cursul

Machine Learning End-to-End

Vezi cursul

Instrucțiuni pentru exercițiu

Importă funcția ks_2samp din modulul scipy.stats.
Folosește seturile de date eșantion january_data și february_data pentru a realiza testul Kolmogorov-Smirnov; calculează statistica testului și p-value-ul.
Verifică dacă p-value-ul este mai mic decât 0.05, indicând deriva datelor; dacă deriva este detectată, afișează "Data drift detected.", altfel afișează "No data drift detected."

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import the ks_2samp function
from ____.____ import ____

# Calculate the test statistic and p value
test_statistic, p_value = ____(____, ____)

# Check the p-value and print the detection result
if ____:
	print("Data drift detected.")
else:
	print("No data drift detected.")

Editează și rulează codul