Identifier les principaux prédicteurs des frais médicaux avec SHAP

Les valeurs SHAP offrent des explications pertinentes sur les prédictions réalisées par les modèles de Machine Learning. Vous allez maintenant utiliser SHAP pour comprendre l’influence de différentes variables d’un model RandomForestRegressor sur la prédiction des frais d’assurance.

X (variables prédictives) et y (frais d’assurance), ainsi que le model RandomForest regressor, ont été préchargés pour vous.

Veuillez noter que l’exécution du code peut prendre un certain temps.

Cet exercice fait partie du cours

IA explicable en Python

Afficher le cours

Instructions

Initialisez un explainer SHAP pour arbres nommé explainer pour le model RandomForest.
Calculez les shap_values pour le jeu de données.
Calculez la moyenne absolue des valeurs SHAP pour identifier les variables les plus influentes.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

import shap

# Create a SHAP Tree Explainer
explainer = ____

# Calculate SHAP values
shap_values = ____

# Calculate mean absolute SHAP values
mean_abs_shap = ____

plt.bar(X.columns, mean_abs_shap)
plt.title('Mean Absolute SHAP Values for RandomForest')
plt.xticks(rotation=45)
plt.show()

Modifier et exécuter le code

Cet exercice fait partie du cours

IA explicable en Python

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Commencez votre parcours en explorant les concepts fondamentaux de l’IA explicable. Apprenez à extraire des règles de décision à partir des arbres de décision. Déduisez et visualisez l’importance des variables avec des modèles linéaires et basés sur des arbres pour comprendre comment ces modèles font leurs prédictions, et ainsi favoriser des décisions plus transparentes.

Exercise 1: Introduction à l’IA explicable Exercise 2: Arbres de décision vs réseaux de neurones Exercise 3: Explicabilité indépendante du modèle vs. spécifique au modèle Exercise 4: Explicabilité dans les modèles linéaires Exercise 5: Calculer l’impact des variables avec la régression linéaire Exercise 6: Calculer l’impact des variables avec une régression logistique Exercise 7: Explicabilité dans les modèles fondés sur les arbres Exercise 8: Calculer l’importance des variables avec les arbres de décision Exercise 9: Calcul de l’importance des variables avec les random forests

Exploitez la puissance des techniques indépendantes du modèle pour évaluer l’influence des variables à travers différents modèles. Utilisez l’importance par permutation et les valeurs SHAP pour analyser l’impact des variables sur le comportement du modèle. Explorez les outils de visualisation SHAP pour rendre les concepts d’explicabilité plus accessibles.

Exercise 1: Importance par permutation Exercise 2: Permutation importance pour MLPClassifier Exercise 3: Coefficients vs. permutation importance Exercise 4: Explicabilité avec SHAP Exercise 5: Identifier les principaux prédicteurs des frais médicaux avec SHAP

Exercice en cours

Exercise 6: Identifier les principaux prédicteurs des maladies cardiaques avec SHAP Exercise 7: Explainer SHAP Kernel Exercise 8: Explainer Kernel pour MLPRegressor Exercise 9: Explainer Kernel pour MLPClassifier Exercise 10: SHAP vs. approches spécifiques au modèle Exercise 11: Visualiser l’explicabilité SHAP Exercise 12: Graphiques d’importance des variables pour l’analyse des admissions Exercise 13: Analyser les effets des variables avec des beeswarm plots Exercise 14: Évaluer l’impact avec les courbes de dépendance partielle

Plongez dans l’explicabilité locale et expliquez des prédictions individuelles. Apprenez à utiliser SHAP pour l’explicabilité locale. Maîtrisez LIME afin de révéler les facteurs précis qui influencent un résultat unique, que les données soient textuelles, tabulaires ou sous forme d’images.

Exercise 1: Explicabilité locale avec SHAP Exercise 2: Explicabilité globale vs locale Exercise 3: SHAP pour expliquer les niveaux de revenu Exercise 4: Explicabilité locale avec LIME Exercise 5: Interpréter localement des régressseurs Exercise 6: Interpréter localement les classifieurs Exercise 7: Explicabilité des textes et des images avec LIME Exercise 8: Expliquer des prédictions d’analyse de sentiment Exercise 9: Expliquer des prédictions d’images d’aliments

Explorez des sujets avancés en IA explicable en évaluant le comportement des modèles et l’efficacité des méthodes d’explication. Développez votre maîtrise de l’évaluation de la cohérence et de la fidélité des explications, étudiez l’analyse de modèles non supervisés, et apprenez à clarifier les raisonnements de modèles génératifs conversationnels comme ChatGPT. Dotez-vous de techniques pour mesurer et améliorer l’explicabilité dans des systèmes d’IA complexes.

Exercise 1: Mesures d’explicabilité Exercise 2: Évaluer la cohérence des explications SHAP Exercise 3: Évaluer la fidélité avec LIME Exercise 4: Expliquer les modèles non supervisés Exercise 5: Impact des variables sur la qualité des clusters Exercise 6: Importance des caractéristiques dans le clustering avec l’ARI Exercise 7: Expliquer les modèles d’IA générative conversationnelle Exercise 8: Chain-of-thought pour dévoiler le raisonnement Exercise 9: Auto-cohérence pour évaluer la confiance Exercise 10: Félicitations