Оцениваем результаты
После того как модель построена и предсказания получены, важно оценить их качество — чтобы понять, насколько модель хороша. В идеале любую торговую стратегию следует тестировать на исторических данных. Однако это сложный и, как правило, трудоёмкий процесс.
Более быстрый способ оценить модель — воспользоваться метриками регрессии, например R\(^2\), а также построить график сравнения предсказанных и фактических значений целевой переменной. При идеальных предсказаниях все точки легли бы на прямую диагональную линию. Такой график позволяет наглядно оценить качество предсказаний в разных диапазонах изменения цены. Для построения диаграммы рассеяния используйте функцию .scatter() из библиотеки matplotlib.
Это упражнение является частью курса
Машинное обучение для финансов на Python
Инструкции к упражнению
- Постройте диаграмму рассеяния
test_predictionsпротивtest_targetsс непрозрачностью точек 20% (используйте параметрalpha). - Нанесите линию идеального предсказания с помощью
np.arange(), используя минимальное и максимальное значения по оси X (xmin,xmax). - Отобразите легенду на графике с помощью
plt.legend().
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Scatter the predictions vs the targets with 20% opacity
plt.scatter(train_predictions, train_targets, alpha=0.2, color='b', label='train')
plt.scatter(____, ____, ____, color='r', label='test')
# Plot the perfect prediction line
xmin, xmax = plt.xlim()
plt.plot(np.arange(xmin, xmax, 0.01), np.arange(____, ____, 0.01), c='k')
# Set the axis labels and show the plot
plt.xlabel('predictions')
plt.ylabel('actual')
____ # show the legend
plt.show()