Autocohérence pour évaluer la confiance

Le prompt ci-dessous vise à demander à ChatGPT de classifier le sentiment d'un avis. Vous devez estimer la confiance de ChatGPT pour chaque classe à l'aide de l'autocohérence.

La fonction get_response() pour communiquer avec ChatGPT est déjà chargée pour vous.

Cette activité fait partie du cours

Explainable AI en Python

Instructions de l’exercice

Pour chaque avis, ajoutez le sentiment à la liste responses.
Calculez la confiance pour chaque sentiment.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

prompt = """Classify the following review as positive or negative. 
You should reply with either "positive" or "negative", nothing else.
Review: 'The coffee was excellent, but the service left much to be desired.'"""

responses = []
for i in range(5):
    sentiment = get_response(prompt)
    # Append the response to the responses list
    ____

# Compute the confidence for each sentiment
confidence = {
    'positive': ____,
    'negative': ____
}

print(confidence)

Modifier et exécuter le code

Cette activité fait partie du cours

Explainable AI en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Commencez votre parcours en explorant les concepts de base de l'Explainable AI. Apprenez à extraire des règles de décision à partir des arbres de décision. Obtenez et visualisez l'importance des caractéristiques avec des modèles linéaires et des modèles fondés sur des arbres pour comprendre comment ces modèles effectuent leurs prédictions, ce qui permet une prise de décision plus transparente.

Exercise 1: Introduction à l'IA explicable Exercise 2: Arbres de décision vs réseaux de neurones Exercise 3: Explicabilité indépendante du modèle vs propre au modèle Exercise 4: Explicabilité dans les modèles linéaires Exercise 5: Calculer l'impact des caractéristiques avec la régression linéaire Exercise 6: Calculer l'impact des variables avec la régression logistique Exercise 7: Explicabilité dans les modèles fondés sur des arbres Exercise 8: Calculer l'importance des caractéristiques avec les arbres de décision Exercise 9: Calcul de l'importance des caractéristiques avec les forêts aléatoires

Exploitez la puissance de techniques indépendantes du modèle pour mesurer l'influence des caractéristiques dans divers modèles. Utilisez l'importance par permutation et les valeurs SHAP pour analyser l'effet des caractéristiques sur le comportement du modèle. Explorez les outils de visualisation SHAP pour rendre les concepts d'explicabilité plus accessibles.

Exercise 1: Importance par permutation Exercise 2: Importance par permutation pour MLPClassifier Exercise 3: Coefficients vs. importance par permutation Exercise 4: Explicabilité SHAP Exercise 5: Repérer les principaux prédicteurs des frais médicaux avec SHAP Exercise 6: Repérer les principaux prédicteurs de maladies cardiaques avec SHAP Exercise 7: Explainer SHAP à noyau Exercise 8: Kernel explainer pour MLPRegressor Exercise 9: Explainer Kernel pour MLPClassifier Exercise 10: SHAP vs approches propres au modèle Exercise 11: Visualiser l'explicabilité avec SHAP Exercise 12: Graphiques d'importance des variables pour l'analyse des admissions Exercise 13: Analyser les effets des caractéristiques avec des diagrammes en essaim Exercise 14: Évaluer l'impact avec des graphiques de dépendance partielle

Plongez dans l'explicabilité locale et expliquez des prédictions individuelles. Apprenez à tirer parti de SHAP pour l'explicabilité locale. Maîtrisez LIME afin de révéler les facteurs précis qui influencent un résultat unique, qu'il s'agisse de données textuelles, tabulaires ou d'images.

Exercise 1: Explicabilité locale avec SHAP Exercise 2: Explicabilité globale vs locale Exercise 3: SHAP pour expliquer les niveaux de revenu Exercise 4: Explicabilité locale avec LIME Exercise 5: Interpréter localement des régressseurs Exercise 6: Interpréter localement les classificateurs Exercise 7: Explicabilité des textes et des images avec LIME Exercise 8: Expliquer les prédictions d'analyse de sentiment Exercise 9: Expliquer les prédictions sur des images d'aliments

Explorez des sujets avancés en Explainable AI en évaluant le comportement des modèles et l'efficacité des méthodes d'explication. Développez votre aisance à évaluer la constance et la fidélité des explications, examinez l'analyse de modèles non supervisés et apprenez à clarifier les raisonnements des modèles d'IA générative comme ChatGPT. Dotez-vous de techniques pour mesurer et améliorer l'explicabilité dans des systèmes d'IA complexes.

Exercise 1: Mesures d'explicabilité Exercise 2: Évaluer la constance des explications SHAP Exercise 3: Évaluer la fidélité avec LIME Exercise 4: Expliquer les modèles non supervisés Exercise 5: Impact des caractéristiques sur la qualité des groupes Exercise 6: Importance des caractéristiques en regroupement avec l'ARI Exercise 7: Expliquer les modèles d'IA générative basés sur le clavardage Exercise 8: Chaîne de raisonnement pour découvrir la logique Exercise 9: Autocohérence pour évaluer la confiance

Exercice en cours

Exercise 10: Félicitations