Auto-cohérence pour évaluer la confiance

Le prompt ci-dessous demande à ChatGPT de classer le sentiment d’un avis. Vous devez estimer la confiance de ChatGPT pour chaque classe en utilisant l’auto-cohérence.

La fonction get_response() pour communiquer avec ChatGPT est préchargée pour vous.

Cet exercice fait partie du cours

IA explicable en Python

Afficher le cours

Instructions

Pour chaque avis, ajoutez le sentiment à la liste responses.
Calculez la confiance pour chaque sentiment.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

prompt = """Classify the following review as positive or negative. 
You should reply with either "positive" or "negative", nothing else.
Review: 'The coffee was excellent, but the service left much to be desired.'"""

responses = []
for i in range(5):
    sentiment = get_response(prompt)
    # Append the response to the responses list
    ____

# Compute the confidence for each sentiment
confidence = {
    'positive': ____,
    'negative': ____
}

print(confidence)

Modifier et exécuter le code

Cet exercice fait partie du cours

IA explicable en Python

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Commencez votre parcours en explorant les concepts fondamentaux de l’IA explicable. Apprenez à extraire des règles de décision à partir des arbres de décision. Déduisez et visualisez l’importance des variables avec des modèles linéaires et basés sur des arbres pour comprendre comment ces modèles font leurs prédictions, et ainsi favoriser des décisions plus transparentes.

Exercise 1: Introduction à l’IA explicable Exercise 2: Arbres de décision vs réseaux de neurones Exercise 3: Explicabilité indépendante du modèle vs. spécifique au modèle Exercise 4: Explicabilité dans les modèles linéaires Exercise 5: Calculer l’impact des variables avec la régression linéaire Exercise 6: Calculer l’impact des variables avec une régression logistique Exercise 7: Explicabilité dans les modèles fondés sur les arbres Exercise 8: Calculer l’importance des variables avec les arbres de décision Exercise 9: Calcul de l’importance des variables avec les random forests

Exploitez la puissance des techniques indépendantes du modèle pour évaluer l’influence des variables à travers différents modèles. Utilisez l’importance par permutation et les valeurs SHAP pour analyser l’impact des variables sur le comportement du modèle. Explorez les outils de visualisation SHAP pour rendre les concepts d’explicabilité plus accessibles.

Exercise 1: Importance par permutation Exercise 2: Permutation importance pour MLPClassifier Exercise 3: Coefficients vs. permutation importance Exercise 4: Explicabilité avec SHAP Exercise 5: Identifier les principaux prédicteurs des frais médicaux avec SHAP Exercise 6: Identifier les principaux prédicteurs des maladies cardiaques avec SHAP Exercise 7: Explainer SHAP Kernel Exercise 8: Explainer Kernel pour MLPRegressor Exercise 9: Explainer Kernel pour MLPClassifier Exercise 10: SHAP vs. approches spécifiques au modèle Exercise 11: Visualiser l’explicabilité SHAP Exercise 12: Graphiques d’importance des variables pour l’analyse des admissions Exercise 13: Analyser les effets des variables avec des beeswarm plots Exercise 14: Évaluer l’impact avec les courbes de dépendance partielle

Plongez dans l’explicabilité locale et expliquez des prédictions individuelles. Apprenez à utiliser SHAP pour l’explicabilité locale. Maîtrisez LIME afin de révéler les facteurs précis qui influencent un résultat unique, que les données soient textuelles, tabulaires ou sous forme d’images.

Exercise 1: Explicabilité locale avec SHAP Exercise 2: Explicabilité globale vs locale Exercise 3: SHAP pour expliquer les niveaux de revenu Exercise 4: Explicabilité locale avec LIME Exercise 5: Interpréter localement des régressseurs Exercise 6: Interpréter localement les classifieurs Exercise 7: Explicabilité des textes et des images avec LIME Exercise 8: Expliquer des prédictions d’analyse de sentiment Exercise 9: Expliquer des prédictions d’images d’aliments

Explorez des sujets avancés en IA explicable en évaluant le comportement des modèles et l’efficacité des méthodes d’explication. Développez votre maîtrise de l’évaluation de la cohérence et de la fidélité des explications, étudiez l’analyse de modèles non supervisés, et apprenez à clarifier les raisonnements de modèles génératifs conversationnels comme ChatGPT. Dotez-vous de techniques pour mesurer et améliorer l’explicabilité dans des systèmes d’IA complexes.

Exercise 1: Mesures d’explicabilité Exercise 2: Évaluer la cohérence des explications SHAP Exercise 3: Évaluer la fidélité avec LIME Exercise 4: Expliquer les modèles non supervisés Exercise 5: Impact des variables sur la qualité des clusters Exercise 6: Importance des caractéristiques dans le clustering avec l’ARI Exercise 7: Expliquer les modèles d’IA générative conversationnelle Exercise 8: Chain-of-thought pour dévoiler le raisonnement Exercise 9: Auto-cohérence pour évaluer la confiance

Exercice en cours

Exercise 10: Félicitations