Графики важности признаков для анализа поступления в университет

Вы работаете в команде специалистов по данным в университете. Ваша задача — определить, какие факторы действительно влияют на решение о зачислении, а какие имеют меньшее значение. Приёмная комиссия знает, что средний балл (CGPA) играет ключевую роль, однако хочет это подтвердить и выявить другие важные факторы, влияющие на результат. С помощью модели RandomForestRegressor вы визуализируете важность признаков, чтобы чётко определить, какие характеристики абитуриентов наиболее значимы, а какие оказывают меньшее влияние на процесс принятия решений.

Библиотека shap и обучающие данные (X_train, y_train) уже загружены.

Это упражнение является частью курса

Объяснимый ИИ на Python

Посмотреть курс

Инструкции к упражнению

Вычислите shap_values с помощью TreeExplainer.
Используйте полученные shap_values, чтобы построить столбчатый график важности признаков и проанализировать его.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

model = RandomForestRegressor(random_state=42)
model.fit(X_train, y_train)

# Derive shap values
explainer = ____
shap_values = ____

# Plot the feature importance plot
____

Редактировать и запускать код

Это упражнение является частью курса

Объяснимый ИИ на Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Начните с изучения фундаментальных концепций объяснимого ИИ. Вы научитесь извлекать правила принятия решений из деревьев решений, а также вычислять и визуализировать важность признаков с помощью линейных моделей и моделей на основе деревьев. Это поможет вам понять, как модели делают предсказания, и принимать более взвешенные решения.

Exercise 1: Введение в объяснимый ИИ Exercise 2: Деревья решений vs. нейронные сети Exercise 3: Независимые от модели и специфичные для модели методы объяснимости Exercise 4: Объяснимость в линейных моделях Exercise 5: Вычисление влияния признаков с помощью линейной регрессии Exercise 6: Вычисление влияния признаков с помощью логистической регрессии Exercise 7: Объяснимость в моделях на основе деревьев Exercise 8: Вычисление важности признаков с помощью деревьев решений Exercise 9: Вычисление важности признаков с помощью случайного леса

Освойте методы, не зависящие от конкретной модели, чтобы оценивать влияние признаков в различных моделях. Используйте перестановочную важность и значения SHAP для анализа того, как признаки влияют на поведение модели. Изучите инструменты визуализации SHAP, которые делают концепции объяснимости более наглядными и понятными.

Exercise 1: Важность признаков методом перестановок Exercise 2: Перестановочная важность для MLPClassifier Exercise 3: Коэффициенты и важность признаков на основе перестановок Exercise 4: Объяснимость с помощью SHAP Exercise 5: Поиск ключевых предикторов медицинских расходов с помощью SHAP Exercise 6: Поиск ключевых предикторов сердечно-сосудистых заболеваний с помощью SHAP Exercise 7: Метод SHAP Kernel Explainer Exercise 8: Kernel Explainer для MLPRegressor Exercise 9: Kernel Explainer для MLPClassifier Exercise 10: SHAP и модельно-зависимые подходы Exercise 11: Визуализация объяснимости с помощью SHAP Exercise 12: Графики важности признаков для анализа поступления в университет

Текущее упражнение

Exercise 13: Анализ влияния признаков с помощью диаграммы роя точек Exercise 14: Оценка влияния с помощью графиков частичной зависимости

Погрузитесь в локальную объяснимость и научитесь объяснять отдельные предсказания. Вы освоите применение SHAP для локального анализа, а также LIME — для выявления конкретных факторов, влияющих на отдельные результаты: будь то текстовые, табличные или графические данные.

Exercise 1: Локальная объяснимость с помощью SHAP Exercise 2: Глобальная и локальная объяснимость Exercise 3: SHAP для объяснения уровней дохода Exercise 4: Локальная объяснимость с помощью LIME Exercise 5: Локальная интерпретация регрессоров Exercise 6: Локальная интерпретация классификаторов Exercise 7: Объяснимость текстов и изображений с помощью LIME Exercise 8: Объяснение предсказаний анализа тональности Exercise 9: Объяснение предсказаний модели для изображений блюд

Изучите продвинутые темы объяснимого ИИ: оценку поведения моделей и эффективности методов объяснения. Вы научитесь проверять согласованность и достоверность объяснений, анализировать модели без учителя, а также интерпретировать процессы рассуждения генеративных моделей ИИ, таких как ChatGPT. Освойте техники измерения и повышения объяснимости в сложных системах ИИ.

Exercise 1: Метрики объяснимости Exercise 2: Оценка согласованности объяснений SHAP Exercise 3: Оценка достоверности объяснений LIME Exercise 4: Объяснение моделей без учителя Exercise 5: Влияние признаков на качество кластеризации Exercise 6: Важность признаков в кластеризации с помощью ARI Exercise 7: Объяснение чат-ботов на основе генеративных моделей ИИ Exercise 8: Цепочка рассуждений для изучения логики модели Exercise 9: Самосогласованность для оценки уверенности Exercise 10: Поздравляем!