Drempelwaarden aanpassen
In de video zag je hoe NannyML drempelwaarden berekent en leerde je hoe je die kunt aanpassen aan jouw oplossing.
In deze oefening definieer je twee aangepaste standaarddeviatie- en constante drempelwaarden en pas je die toe op de resultaten van het CBPE-algoritme voor de US Census-gegevensset.
De referentie- en analysegroepen zijn vooraf geladen als reference en analysis, samen met de nannyml-bibliotheek.
Deze oefening maakt deel uit van de cursus
Monitoring Machine Learning in Python
Oefeninstructies
- Importeer
ConstantThresholdenStandardDeviationThresholduitnannyml.thresholds. - Initialiseer de standaarddeviatiemethode en stel de parameters
std_lower_multiplierenstd_upper_multiplierin op2. - Initialiseer de constante drempelmethode en stel de parameter lower in op
0.9en upper op0.98. - Geef de constante drempelmethode voor de metriek
f1en de standaarddeviatiemethode vooraccuracydoor aan het CBPE-algoritme.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Import custom thresholds
from ____.____ import ____, ____
# Initialize custom thresholds
stdt = ____(____=____, ____=____)
ct = ____(____=____, ____=____)
# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
problem_type='classification_binary',
y_pred_proba='predicted_probability',
y_pred='prediction',
y_true='employed',
metrics=['roc_auc', 'accuracy', 'f1'],
thresholds={____: ____, ____: ____})