Performans tahmini şaştığında

Bir bankada, kredi temerrüt kullanım senaryosu üzerinde çalışan bir veri bilimcisi olduğunu düşün. Modelini ve performans tahmin algoritmanı doğrulamak için her ay etiketler alıyorsun. Belirli bir ayda, yüksek enflasyon ve buna eşlik eden iş krizi nedeniyle, iyi maaşlı işi olan birçok müşterinin daha sık temerrüde düştüğünü gözlemliyorsun.

Tahmin edilen ve gerçekleşen performansı karşılaştırdığında, aralarında belirgin bir fark olduğunu fark ediyorsun.

Bu durumda performans tahmin algoritmasının neden pek etkili olmadığının sebebi ne olabilir?

Bu egzersiz

Python ile Machine Learning İzleme

kursunun bir parçasıdır

Kursu Görüntüle

Uygulamalı interaktif egzersiz

İnteraktif egzersizlerimizden biriyle teoriyi pratiğe dökün

Egzersizi başlat

Bu egzersiz

Python ile Machine Learning İzleme

kursunun bir parçasıdır

AvançadoNível de habilidade

4.8+

291 reviews

Kursa Ücretsiz Başlayın

In this chapter, you will be introduced to the NannyML library and its fundamental functions. Initially, you will learn the process of preparing raw data to create reference and analysis sets ready for production monitoring. As a practical example, you will investigate predicting the tip amount for taxi rides in New York. Toward the end of the chapter, you will also discover how to estimate the performance of the tip prediction model using NannyML.

Exercise 1: What is NannyML?Exercise 2: Key features of NannyML Exercise 3: Load the dataset Exercise 4: Data preparation for NannyML Exercise 5: Reference or analysis period?Exercise 6: Loading and splitting the data Exercise 7: Creating reference and analysis set Exercise 8: Performance estimation Exercise 9: Specify the algorithm and problem type Exercise 10: Interpreting results Exercise 11: CBPE and DLE workflow Exercise 12: Performance estimation for tip prediction

In this chapter, you will be introduced to realized performance calculators used when ground truth becomes available. You will learn about the more advanced methods for handling results, including filtering, plotting, converting them to data frames, chunking, and establishing custom thresholds. Lastly, you'll apply this knowledge to calculate the business value of a model trained on the hotel booking dataset.

Exercise 1: Etiketler mevcut olduğunda Exercise 2: Performans tahmini şaştığında

Geçerli Egzersiz

Exercise 3: Tahmini ve gerçekleşen performansı karşılaştırma Exercise 4: Hesaplanmış ve tahmini sonuçlarla çalışmak Exercise 5: Farklı parçalara ayırma (chunking) yöntemleri Exercise 6: Eşikleri değiştirme Exercise 7: Sonuçlarla etkileşim Exercise 8: İş değeri hesaplama ve tahmin Exercise 9: İş değeri hesaplama Exercise 10: Parasal değerde düşüş Exercise 11: Otel rezervasyonu veri kümesi için iş değeri hesabı

Having detected the performance degradation in the hotel booking model, you will now learn how to identify the underlying issue causing it. In this chapter, you will be introduced to multivariate and univariate drift detection methods. You will also learn how to identify data quality issues and how to address the underlying problems you detect.

Exercise 1: Multivariate drift detection Exercise 2: Identifying relevant drifts Exercise 3: Drift in hotel booking dataset Exercise 4: Univariate drift detection Exercise 5: Univariate drift detection for hotel booking dataset Exercise 6: Ranking the univariate results Exercise 7: Visualizing drifting features Exercise 8: Data quality and statistic checks Exercise 9: Data quality checks Exercise 10: Summary statistics Exercise 11: Issue resolution Exercise 12: What is the resolution?Exercise 13: Should you do nothing or not?Exercise 14: Implementing a monitoring workflow Exercise 15: Congratulations