Bewertung der Konsistenz von Erklärungen mit SHAP

Bewerte die Konsistenz von Erklärungen zur Merkmalswichtigkeit anhand der SHAP-Werte in zwei verschiedenen Untergruppen des Versicherungsdatensatzes.

Die Teilmengen X1, X2, y1 und y2 wurden bereits geladen, zusammen mit model1 (trainiert mit der ersten Teilmenge) und model2 (trainiert mit der zweiten Teilmenge).

Diese Übung ist Teil des Kurses

Erklärbare KI in Python

Anleitung zur Übung

Berechne shap_values1 und feature_importance1 für model1.
Berechne shap_values2 und feature_importance2 für model2.
Berechne die Konsistenz (consistency) zwischen den Merkmalswichtigkeiten.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

# Calculate SHAP values and feature importance for model1
explainer1 = shap.TreeExplainer(model1)
shap_values1 = ____
feature_importance1 = ____

# Calculate SHAP values and feature importance for model2
explainer2 = shap.TreeExplainer(model2)
shap_values2 = ___
feature_importance2 =____

# Consistency calculation
consistency = ____
print("Consistency between SHAP values:", consistency)

Bearbeiten und Ausführen von Code

Diese Übung ist Teil des Kurses

Erklärbare KI in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Deine Wissensreise beginnt mit einer Einführung in die grundlegenden Konzepte der erklärbaren KI. Du lernst, wie man Entscheidungsregeln aus Entscheidungsbäumen extrahiert. Du erfährst auch, wie du die Wichtigkeit von Merkmalen mithilfe von linearen und baumbasierten Modellen ableiten und visualisieren kannst, um die Vorhersagen dieser Modelle besser zu verstehen und somit die Entscheidungsfindung transparenter zu gestalten.

Exercise 1: Einführung in erklärbare KI Exercise 2: Entscheidungsbäume vs. Neuronale Netze Exercise 3: Modellunabhängige vs. modellspezifische Erklärbarkeit Exercise 4: Erklärbarkeit in linearen Modellen Exercise 5: Berechnung des Einflusses von Merkmalen mit linearer Regression Exercise 6: Berechnung des Einflusses von Merkmalen mit logistischer Regression Exercise 7: Erklärbarkeit in baumbasierten Modellen Exercise 8: Berechnung der Merkmalswichtigkeit bei Entscheidungsbäumen Exercise 9: Berechnung der Merkmalswichtigkeit bei Random Forests

Verwende leistungsstarke und modellunabhängige Techniken, um den Einfluss von Merkmalen auf verschiedene Modelle zu bewerten. Beachte die Permutationswichtigkeit und analysiere mithilfe von SHAP-Werten, wie sich Merkmale auf das Modellverhalten auswirken. Teste SHAP-Visualisierungstools, um Erklärbarkeitskonzepte verständlicher zu machen.

Exercise 1: Permutationswichtigkeit Exercise 2: Permutationswichtigkeit für MLPClassifier Exercise 3: Koeffizienten vs. Permutationswichtigkeit Exercise 4: SHAP-Erklärbarkeit Exercise 5: Wichtige Prädiktoren für medizinische Kosten mit SHAP bestimmen Exercise 6: Wichtige Prädiktoren für Herzkrankheiten mit SHAP bestimmen Exercise 7: SHAP-KernelExplainer Exercise 8: KernelExplainer für MLPRegressor Exercise 9: KernelExplainer für MLPClassifier Exercise 10: SHAP vs. modellspezifische Ansätze Exercise 11: Visualisierung der SHAP-Erklärbarkeit Exercise 12: Diagramme mit Merkmalswichtigkeiten für eine Zulassungsanalyse Exercise 13: Analyse von Merkmalsauswirkungen mit Bienenschwarmdiagrammen Exercise 14: Bewertung von Auswirkungen mit Diagrammen zur partiellen Abhängigkeit

In diesem Kapitel befasst du dich mit der lokalen Erklärbarkeit und lernst, einzelne Modellvorhersagen zu analysieren. Außerdem nutzt du SHAP, um individuelle Prognosen zu erklären. Du arbeitest auch mit LIME, um spezifische Faktoren zu ermitteln, die einzelne Ergebnisse beeinflussen, sei es durch Text-, Tabellen- oder Bilddaten.

Exercise 1: Lokale Erklärbarkeit mit SHAP Exercise 2: Globale vs. lokale Erklärbarkeit Exercise 3: Erklärung des Einkommensniveaus mit SHAP Exercise 4: Lokale Erklärbarkeit mit LIME Exercise 5: Lokale Interpretation von Regressoren Exercise 6: Lokale Interpretation von Klassifikatoren Exercise 7: Erklärbarkeit von Text und Bildern mit LIME Exercise 8: Erklärung von vorhergesagten Stimmungsanalysen Exercise 9: Erklärung von vorhergesagten Essensbildern

Im letzten Kapitel geht es um fortgeschrittene Themen im Zusammenhang mit der Erklärbarkeit von KI. Du bewertest das Verhalten von Modellen und die Effektivität von Erklärungsmethoden. Du lernst, die Konsistenz und Zuverlässigkeit von Erklärungen zu beurteilen, arbeitest dich in die Analyse unüberwachter Modelle ein und widmest dich den Argumentationsprozessen von generativen KI-Modellen wie ChatGPT. Dabei eignest du dir Techniken an, mit denen du die Erklärbarkeit von komplexen KI-Systemen messen und verbessern kannst.

Exercise 1: Metriken zur Erklärbarkeit Exercise 2: Bewertung der Konsistenz von Erklärungen mit SHAP

Aktuelle Übung

Exercise 3: Bewertung der Zuverlässigkeit von LIME Exercise 4: Erklärbarkeit bei unüberwachten Modellen Exercise 5: Auswirkungen der Merkmale auf die Cluster-Qualität Exercise 6: Merkmalswichtigkeit beim Clustering mit ARI Exercise 7: Erklärbarkeit bei chatbasierten generativen KI-Modellen Exercise 8: Gedankenkette zur Herleitung einer Erklärung Exercise 9: Selbstkonsistenz zur Konfidenzbewertung Exercise 10: Glückwunsch!