การตรวจจับ Data Drift ด้วยการทดสอบ Kolmogorov-Smirnov

หลังจากนำโมเดลทำนายโรคหัวใจไปใช้งานจริงได้สำเร็จ คุณได้ติดตามดูประสิทธิภาพของโมเดลและข้อมูลที่ป้อนเข้ามาอย่างต่อเนื่อง และสังเกตพบว่าการกระจายตัวของฟีเจอร์สำคัญบางตัวในข้อมูลเดือนกุมภาพันธ์มีความแตกต่างจากข้อมูลที่ใช้ฝึกโมเดลในเดือนมกราคม ความแตกต่างเหล่านี้อาจส่งผลต่อประสิทธิภาพของโมเดล จึงจำเป็นต้องตรวจจับและแก้ไขอย่างทันท่วงที

ในแบบฝึกหัดนี้ จะใช้การทดสอบ Kolmogorov-Smirnov (K-S) เพื่อตรวจหา data drift ที่อาจเกิดขึ้นระหว่างชุดข้อมูลเดือนมกราคมและเดือนกุมภาพันธ์ โดยชุดข้อมูลตัวอย่าง january_data และ february_data ได้โหลดไว้ให้แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Machine Learning แบบ End-to-End

ดูคอร์ส

คำแนะนำการฝึกหัด

นำเข้าฟังก์ชัน ks_2samp จากโมดูล scipy.stats
ใช้ชุดข้อมูลตัวอย่าง january_data และ february_data ที่เตรียมไว้เพื่อทำการทดสอบ Kolmogorov-Smirnov แล้วคำนวณค่าสถิติทดสอบและ p-value
ตรวจสอบว่า p-value น้อยกว่า 0.05 หรือไม่ ซึ่งบ่งชี้ว่าเกิด data drift หากตรวจพบ ให้พิมพ์ "Data drift detected." มิฉะนั้นให้พิมพ์ "No data drift detected."

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Import the ks_2samp function
from ____.____ import ____

# Calculate the test statistic and p value
test_statistic, p_value = ____(____, ____)

# Check the p-value and print the detection result
if ____:
	print("Data drift detected.")
else:
	print("No data drift detected.")

แก้ไขและรันโค้ด