Detektera datadrift med Kolmogorov-Smirnov-testet
Efter att du framgångsrikt har driftsatt din modell för hjärtsjukdomsprediktering har du övervakat dess prestanda och indata. Du har lagt märke till att fördelningen av några viktiga särdrag i de senaste data som samlades in i februari ser lite annorlunda ut jämfört med de data du tränade på i januari. Sådana avvikelser kan påverka modellens prestanda, och det är viktigt att upptäcka och hantera dem.
I den här övningen använder du Kolmogorov-Smirnov-testet (K-S-testet) för att detektera eventuell datadrift mellan januari- och februaridatamängderna. Exempeldatamängderna january_data och february_data är redan inlästa åt dig.
Den här övningen är en del av kursen
End-to-End Machine Learning
Övningsinstruktioner
- Importera funktionen
ks_2sampfrån modulenscipy.stats. - Använd de tillhandahållna exempeldatamängderna
january_dataochfebruary_dataför att utföra Kolmogorov-Smirnov-testet och beräkna teststatistikan samt p-värdet. - Kontrollera om p-värdet är mindre än 0,05, vilket indikerar datadrift. Om datadrift detekteras, skriv ut
"Data drift detected.", annars skriv ut"No data drift detected."
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Import the ks_2samp function
from ____.____ import ____
# Calculate the test statistic and p value
test_statistic, p_value = ____(____, ____)
# Check the p-value and print the detection result
if ____:
print("Data drift detected.")
else:
print("No data drift detected.")