Bewertung der Zuverlässigkeit von LIME

Man gibt dir eine LIME-Erklärung für ein Beispiel (X_instance) aus dem Einkommensdatensatz. Da das Geschlecht der wichtigste Prädiktor ist, musst du seinen Wert ändern und die Zuverlässigkeit (faithfulness) berechnen, um festzustellen, wie gut die Erklärung mit dem Verhalten des Modells für dieses Beispiel übereinstimmt.

Diese Übung ist Teil des Kurses

Erklärbare KI in Python

Anleitung zur Übung

Ändere den Wert für das Geschlecht in X_instance auf 0.
Erstelle eine Wahrscheinlichkeit für new_prediction.
Schätze die Zuverlässigkeit der Erklärung von LIME ein.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

original_prediction = model.predict_proba(X_instance)[0, 1]
print(f"Original prediction: {original_prediction}")

# Change the gender value to 0 
____

# Generate the new prediction
new_prediction = ____
print(f"Prediction after perturbing 'gender': {new_prediction}")

# Estimate faithfulness
faithfulness_score = ____
print(f"Local Faithfulness Score: {faithfulness_score}")

Bearbeiten und Ausführen von Code

Diese Übung ist Teil des Kurses

Erklärbare KI in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Deine Wissensreise beginnt mit einer Einführung in die grundlegenden Konzepte der erklärbaren KI. Du lernst, wie man Entscheidungsregeln aus Entscheidungsbäumen extrahiert. Du erfährst auch, wie du die Wichtigkeit von Merkmalen mithilfe von linearen und baumbasierten Modellen ableiten und visualisieren kannst, um die Vorhersagen dieser Modelle besser zu verstehen und somit die Entscheidungsfindung transparenter zu gestalten.

Exercise 1: Einführung in erklärbare KI Exercise 2: Entscheidungsbäume vs. Neuronale Netze Exercise 3: Modellunabhängige vs. modellspezifische Erklärbarkeit Exercise 4: Erklärbarkeit in linearen Modellen Exercise 5: Berechnung des Einflusses von Merkmalen mit linearer Regression Exercise 6: Berechnung des Einflusses von Merkmalen mit logistischer Regression Exercise 7: Erklärbarkeit in baumbasierten Modellen Exercise 8: Berechnung der Merkmalswichtigkeit bei Entscheidungsbäumen Exercise 9: Berechnung der Merkmalswichtigkeit bei Random Forests

Verwende leistungsstarke und modellunabhängige Techniken, um den Einfluss von Merkmalen auf verschiedene Modelle zu bewerten. Beachte die Permutationswichtigkeit und analysiere mithilfe von SHAP-Werten, wie sich Merkmale auf das Modellverhalten auswirken. Teste SHAP-Visualisierungstools, um Erklärbarkeitskonzepte verständlicher zu machen.

Exercise 1: Permutationswichtigkeit Exercise 2: Permutationswichtigkeit für MLPClassifier Exercise 3: Koeffizienten vs. Permutationswichtigkeit Exercise 4: SHAP-Erklärbarkeit Exercise 5: Wichtige Prädiktoren für medizinische Kosten mit SHAP bestimmen Exercise 6: Wichtige Prädiktoren für Herzkrankheiten mit SHAP bestimmen Exercise 7: SHAP-KernelExplainer Exercise 8: KernelExplainer für MLPRegressor Exercise 9: KernelExplainer für MLPClassifier Exercise 10: SHAP vs. modellspezifische Ansätze Exercise 11: Visualisierung der SHAP-Erklärbarkeit Exercise 12: Diagramme mit Merkmalswichtigkeiten für eine Zulassungsanalyse Exercise 13: Analyse von Merkmalsauswirkungen mit Bienenschwarmdiagrammen Exercise 14: Bewertung von Auswirkungen mit Diagrammen zur partiellen Abhängigkeit

In diesem Kapitel befasst du dich mit der lokalen Erklärbarkeit und lernst, einzelne Modellvorhersagen zu analysieren. Außerdem nutzt du SHAP, um individuelle Prognosen zu erklären. Du arbeitest auch mit LIME, um spezifische Faktoren zu ermitteln, die einzelne Ergebnisse beeinflussen, sei es durch Text-, Tabellen- oder Bilddaten.

Exercise 1: Lokale Erklärbarkeit mit SHAP Exercise 2: Globale vs. lokale Erklärbarkeit Exercise 3: Erklärung des Einkommensniveaus mit SHAP Exercise 4: Lokale Erklärbarkeit mit LIME Exercise 5: Lokale Interpretation von Regressoren Exercise 6: Lokale Interpretation von Klassifikatoren Exercise 7: Erklärbarkeit von Text und Bildern mit LIME Exercise 8: Erklärung von vorhergesagten Stimmungsanalysen Exercise 9: Erklärung von vorhergesagten Essensbildern

Im letzten Kapitel geht es um fortgeschrittene Themen im Zusammenhang mit der Erklärbarkeit von KI. Du bewertest das Verhalten von Modellen und die Effektivität von Erklärungsmethoden. Du lernst, die Konsistenz und Zuverlässigkeit von Erklärungen zu beurteilen, arbeitest dich in die Analyse unüberwachter Modelle ein und widmest dich den Argumentationsprozessen von generativen KI-Modellen wie ChatGPT. Dabei eignest du dir Techniken an, mit denen du die Erklärbarkeit von komplexen KI-Systemen messen und verbessern kannst.

Exercise 1: Metriken zur Erklärbarkeit Exercise 2: Bewertung der Konsistenz von Erklärungen mit SHAP Exercise 3: Bewertung der Zuverlässigkeit von LIME

Aktuelle Übung

Exercise 4: Erklärbarkeit bei unüberwachten Modellen Exercise 5: Auswirkungen der Merkmale auf die Cluster-Qualität Exercise 6: Merkmalswichtigkeit beim Clustering mit ARI Exercise 7: Erklärbarkeit bei chatbasierten generativen KI-Modellen Exercise 8: Gedankenkette zur Herleitung einer Erklärung Exercise 9: Selbstkonsistenz zur Konfidenzbewertung Exercise 10: Glückwunsch!