Анализ влияния признаков с помощью диаграммы роя точек

Продолжая работу в роли специалиста по данным в университете, вы переходите к более детальному анализу влияния отдельных признаков на результаты поступления. Выявить ключевые факторы, влияющие на решения приёмной комиссии, — важный шаг, но более глубокий анализ позволяет понять, как именно изменения этих факторов сказываются на прогнозах. Эти дополнительные сведения помогут ответить на вопросы: как изменения в результатах тестов или среднем балле CGPA влияют на вероятность поступления? Это даст более чёткую основу для принятия обоснованных решений и выработки рекомендаций.

Библиотека shap и обучающие данные (X_train, y_train) уже загружены для вас.

Это упражнение является частью курса

Объяснимый ИИ на Python

Посмотреть курс

Инструкции к упражнению

Получите shap_values с помощью TreeExplainer.
Используйте полученные shap_values, чтобы построить диаграмму роя точек, и проанализируйте её.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

model = RandomForestRegressor(random_state=42)
model.fit(X_train, y_train)

# Derive shap values
explainer = ____
shap_values = ____

# Plot the beeswarm plot
____

Редактировать и запускать код

Это упражнение является частью курса

Объяснимый ИИ на Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Начните с изучения фундаментальных концепций объяснимого ИИ. Вы научитесь извлекать правила принятия решений из деревьев решений, а также вычислять и визуализировать важность признаков с помощью линейных моделей и моделей на основе деревьев. Это поможет вам понять, как модели делают предсказания, и принимать более взвешенные решения.

Exercise 1: Введение в объяснимый ИИ Exercise 2: Деревья решений vs. нейронные сети Exercise 3: Независимые от модели и специфичные для модели методы объяснимости Exercise 4: Объяснимость в линейных моделях Exercise 5: Вычисление влияния признаков с помощью линейной регрессии Exercise 6: Вычисление влияния признаков с помощью логистической регрессии Exercise 7: Объяснимость в моделях на основе деревьев Exercise 8: Вычисление важности признаков с помощью деревьев решений Exercise 9: Вычисление важности признаков с помощью случайного леса

Освойте методы, не зависящие от конкретной модели, чтобы оценивать влияние признаков в различных моделях. Используйте перестановочную важность и значения SHAP для анализа того, как признаки влияют на поведение модели. Изучите инструменты визуализации SHAP, которые делают концепции объяснимости более наглядными и понятными.

Exercise 1: Важность признаков методом перестановок Exercise 2: Перестановочная важность для MLPClassifier Exercise 3: Коэффициенты и важность признаков на основе перестановок Exercise 4: Объяснимость с помощью SHAP Exercise 5: Поиск ключевых предикторов медицинских расходов с помощью SHAP Exercise 6: Поиск ключевых предикторов сердечно-сосудистых заболеваний с помощью SHAP Exercise 7: Метод SHAP Kernel Explainer Exercise 8: Kernel Explainer для MLPRegressor Exercise 9: Kernel Explainer для MLPClassifier Exercise 10: SHAP и модельно-зависимые подходы Exercise 11: Визуализация объяснимости с помощью SHAP Exercise 12: Графики важности признаков для анализа поступления в университет Exercise 13: Анализ влияния признаков с помощью диаграммы роя точек

Текущее упражнение

Exercise 14: Оценка влияния с помощью графиков частичной зависимости

Погрузитесь в локальную объяснимость и научитесь объяснять отдельные предсказания. Вы освоите применение SHAP для локального анализа, а также LIME — для выявления конкретных факторов, влияющих на отдельные результаты: будь то текстовые, табличные или графические данные.

Exercise 1: Локальная объяснимость с помощью SHAP Exercise 2: Глобальная и локальная объяснимость Exercise 3: SHAP для объяснения уровней дохода Exercise 4: Локальная объяснимость с помощью LIME Exercise 5: Локальная интерпретация регрессоров Exercise 6: Локальная интерпретация классификаторов Exercise 7: Объяснимость текстов и изображений с помощью LIME Exercise 8: Объяснение предсказаний анализа тональности Exercise 9: Объяснение предсказаний модели для изображений блюд

Изучите продвинутые темы объяснимого ИИ: оценку поведения моделей и эффективности методов объяснения. Вы научитесь проверять согласованность и достоверность объяснений, анализировать модели без учителя, а также интерпретировать процессы рассуждения генеративных моделей ИИ, таких как ChatGPT. Освойте техники измерения и повышения объяснимости в сложных системах ИИ.

Exercise 1: Метрики объяснимости Exercise 2: Оценка согласованности объяснений SHAP Exercise 3: Оценка достоверности объяснений LIME Exercise 4: Объяснение моделей без учителя Exercise 5: Влияние признаков на качество кластеризации Exercise 6: Важность признаков в кластеризации с помощью ARI Exercise 7: Объяснение чат-ботов на основе генеративных моделей ИИ Exercise 8: Цепочка рассуждений для изучения логики модели Exercise 9: Самосогласованность для оценки уверенности Exercise 10: Поздравляем!