Оценка согласованности объяснений SHAP

Оцените согласованность объяснений важности признаков на основе значений SHAP для двух разных подвыборок набора данных о страховании.

Подвыборки X1, X2, y1 и y2 уже загружены для вас, а также model1, обученная на первой подвыборке, и model2, обученная на второй.

Это упражнение является частью курса

Объяснимый ИИ на Python

Посмотреть курс

Инструкции к упражнению

Вычислите shap_values1 и feature_importance1 для model1.
Вычислите shap_values2 и feature_importance2 для model2.
Вычислите consistency между значениями важности признаков.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Calculate SHAP values and feature importance for model1
explainer1 = shap.TreeExplainer(model1)
shap_values1 = ____
feature_importance1 = ____

# Calculate SHAP values and feature importance for model2
explainer2 = shap.TreeExplainer(model2)
shap_values2 = ___
feature_importance2 =____

# Consistency calculation
consistency = ____
print("Consistency between SHAP values:", consistency)

Редактировать и запускать код

Это упражнение является частью курса

Объяснимый ИИ на Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Начните с изучения фундаментальных концепций объяснимого ИИ. Вы научитесь извлекать правила принятия решений из деревьев решений, а также вычислять и визуализировать важность признаков с помощью линейных моделей и моделей на основе деревьев. Это поможет вам понять, как модели делают предсказания, и принимать более взвешенные решения.

Exercise 1: Введение в объяснимый ИИ Exercise 2: Деревья решений vs. нейронные сети Exercise 3: Независимые от модели и специфичные для модели методы объяснимости Exercise 4: Объяснимость в линейных моделях Exercise 5: Вычисление влияния признаков с помощью линейной регрессии Exercise 6: Вычисление влияния признаков с помощью логистической регрессии Exercise 7: Объяснимость в моделях на основе деревьев Exercise 8: Вычисление важности признаков с помощью деревьев решений Exercise 9: Вычисление важности признаков с помощью случайного леса

Освойте методы, не зависящие от конкретной модели, чтобы оценивать влияние признаков в различных моделях. Используйте перестановочную важность и значения SHAP для анализа того, как признаки влияют на поведение модели. Изучите инструменты визуализации SHAP, которые делают концепции объяснимости более наглядными и понятными.

Exercise 1: Важность признаков методом перестановок Exercise 2: Перестановочная важность для MLPClassifier Exercise 3: Коэффициенты и важность признаков на основе перестановок Exercise 4: Объяснимость с помощью SHAP Exercise 5: Поиск ключевых предикторов медицинских расходов с помощью SHAP Exercise 6: Поиск ключевых предикторов сердечно-сосудистых заболеваний с помощью SHAP Exercise 7: Метод SHAP Kernel Explainer Exercise 8: Kernel Explainer для MLPRegressor Exercise 9: Kernel Explainer для MLPClassifier Exercise 10: SHAP и модельно-зависимые подходы Exercise 11: Визуализация объяснимости с помощью SHAP Exercise 12: Графики важности признаков для анализа поступления в университет Exercise 13: Анализ влияния признаков с помощью диаграммы роя точек Exercise 14: Оценка влияния с помощью графиков частичной зависимости

Погрузитесь в локальную объяснимость и научитесь объяснять отдельные предсказания. Вы освоите применение SHAP для локального анализа, а также LIME — для выявления конкретных факторов, влияющих на отдельные результаты: будь то текстовые, табличные или графические данные.

Exercise 1: Локальная объяснимость с помощью SHAP Exercise 2: Глобальная и локальная объяснимость Exercise 3: SHAP для объяснения уровней дохода Exercise 4: Локальная объяснимость с помощью LIME Exercise 5: Локальная интерпретация регрессоров Exercise 6: Локальная интерпретация классификаторов Exercise 7: Объяснимость текстов и изображений с помощью LIME Exercise 8: Объяснение предсказаний анализа тональности Exercise 9: Объяснение предсказаний модели для изображений блюд

Изучите продвинутые темы объяснимого ИИ: оценку поведения моделей и эффективности методов объяснения. Вы научитесь проверять согласованность и достоверность объяснений, анализировать модели без учителя, а также интерпретировать процессы рассуждения генеративных моделей ИИ, таких как ChatGPT. Освойте техники измерения и повышения объяснимости в сложных системах ИИ.

Exercise 1: Метрики объяснимости Exercise 2: Оценка согласованности объяснений SHAP

Текущее упражнение

Exercise 3: Оценка достоверности объяснений LIME Exercise 4: Объяснение моделей без учителя Exercise 5: Влияние признаков на качество кластеризации Exercise 6: Важность признаков в кластеризации с помощью ARI Exercise 7: Объяснение чат-ботов на основе генеративных моделей ИИ Exercise 8: Цепочка рассуждений для изучения логики модели Exercise 9: Самосогласованность для оценки уверенности Exercise 10: Поздравляем!