Évaluer la constance des explications SHAP

Évaluez la constance des explications d'importance des caractéristiques à l'aide des valeurs SHAP sur deux sous-ensembles différents du jeu de données d'assurance.

Les sous-ensembles X1, X2, y1 et y2 ont été préchargés pour vous, de même que model1 entraîné sur le premier sous-ensemble et model2 entraîné sur le second.

Cette activité fait partie du cours

Explainable AI en Python

Instructions de l’exercice

Calculez shap_values1 et feature_importance1 pour model1.
Calculez shap_values2 et feature_importance2 pour model2.
Calculez la consistency entre les importances de caractéristiques.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Calculate SHAP values and feature importance for model1
explainer1 = shap.TreeExplainer(model1)
shap_values1 = ____
feature_importance1 = ____

# Calculate SHAP values and feature importance for model2
explainer2 = shap.TreeExplainer(model2)
shap_values2 = ___
feature_importance2 =____

# Consistency calculation
consistency = ____
print("Consistency between SHAP values:", consistency)

Modifier et exécuter le code

Cette activité fait partie du cours

Explainable AI en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Commencez votre parcours en explorant les concepts de base de l'Explainable AI. Apprenez à extraire des règles de décision à partir des arbres de décision. Obtenez et visualisez l'importance des caractéristiques avec des modèles linéaires et des modèles fondés sur des arbres pour comprendre comment ces modèles effectuent leurs prédictions, ce qui permet une prise de décision plus transparente.

Exercise 1: Introduction à l'IA explicable Exercise 2: Arbres de décision vs réseaux de neurones Exercise 3: Explicabilité indépendante du modèle vs propre au modèle Exercise 4: Explicabilité dans les modèles linéaires Exercise 5: Calculer l'impact des caractéristiques avec la régression linéaire Exercise 6: Calculer l'impact des variables avec la régression logistique Exercise 7: Explicabilité dans les modèles fondés sur des arbres Exercise 8: Calculer l'importance des caractéristiques avec les arbres de décision Exercise 9: Calcul de l'importance des caractéristiques avec les forêts aléatoires

Exploitez la puissance de techniques indépendantes du modèle pour mesurer l'influence des caractéristiques dans divers modèles. Utilisez l'importance par permutation et les valeurs SHAP pour analyser l'effet des caractéristiques sur le comportement du modèle. Explorez les outils de visualisation SHAP pour rendre les concepts d'explicabilité plus accessibles.

Exercise 1: Importance par permutation Exercise 2: Importance par permutation pour MLPClassifier Exercise 3: Coefficients vs. importance par permutation Exercise 4: Explicabilité SHAP Exercise 5: Repérer les principaux prédicteurs des frais médicaux avec SHAP Exercise 6: Repérer les principaux prédicteurs de maladies cardiaques avec SHAP Exercise 7: Explainer SHAP à noyau Exercise 8: Kernel explainer pour MLPRegressor Exercise 9: Explainer Kernel pour MLPClassifier Exercise 10: SHAP vs approches propres au modèle Exercise 11: Visualiser l'explicabilité avec SHAP Exercise 12: Graphiques d'importance des variables pour l'analyse des admissions Exercise 13: Analyser les effets des caractéristiques avec des diagrammes en essaim Exercise 14: Évaluer l'impact avec des graphiques de dépendance partielle

Plongez dans l'explicabilité locale et expliquez des prédictions individuelles. Apprenez à tirer parti de SHAP pour l'explicabilité locale. Maîtrisez LIME afin de révéler les facteurs précis qui influencent un résultat unique, qu'il s'agisse de données textuelles, tabulaires ou d'images.

Exercise 1: Explicabilité locale avec SHAP Exercise 2: Explicabilité globale vs locale Exercise 3: SHAP pour expliquer les niveaux de revenu Exercise 4: Explicabilité locale avec LIME Exercise 5: Interpréter localement des régressseurs Exercise 6: Interpréter localement les classificateurs Exercise 7: Explicabilité des textes et des images avec LIME Exercise 8: Expliquer les prédictions d'analyse de sentiment Exercise 9: Expliquer les prédictions sur des images d'aliments

Explorez des sujets avancés en Explainable AI en évaluant le comportement des modèles et l'efficacité des méthodes d'explication. Développez votre aisance à évaluer la constance et la fidélité des explications, examinez l'analyse de modèles non supervisés et apprenez à clarifier les raisonnements des modèles d'IA générative comme ChatGPT. Dotez-vous de techniques pour mesurer et améliorer l'explicabilité dans des systèmes d'IA complexes.

Exercise 1: Mesures d'explicabilité Exercise 2: Évaluer la constance des explications SHAP

Exercice en cours

Exercise 3: Évaluer la fidélité avec LIME Exercise 4: Expliquer les modèles non supervisés Exercise 5: Impact des caractéristiques sur la qualité des groupes Exercise 6: Importance des caractéristiques en regroupement avec l'ARI Exercise 7: Expliquer les modèles d'IA générative basés sur le clavardage Exercise 8: Chaîne de raisonnement pour découvrir la logique Exercise 9: Autocohérence pour évaluer la confiance Exercise 10: Félicitations