НачатьНачать бесплатно

Реализация случайного поиска

Поиск гиперпараметров — вычислительно затратный подход, позволяющий экспериментировать с различными значениями гиперпараметров. Тем не менее он может привести к улучшению качества модели. В этом упражнении вы реализуете алгоритм случайного поиска.

Вы случайным образом выберете 10 значений скорости обучения и моментума из равномерного распределения. Для этого используйте функцию np.random.uniform().

Пакет numpy уже импортирован как np, а функция plot_hyperparameter_search() создана для визуализации результатов.

Это упражнение является частью курса

Введение в глубокое обучение с PyTorch

Посмотреть курс

Инструкции к упражнению

  • Случайным образом выберите коэффициент скорости обучения в диапазоне от 2 до 4, чтобы скорость обучения (lr) находилась в пределах от \(10^{-2}\) до \(10^{-4}\).
  • Случайным образом выберите значение моментума в диапазоне от 0,85 до 0,99.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

values = []
for idx in range(10):
    # Randomly sample a learning rate factor between 2 and 4
    factor = ____
    lr = 10 ** -factor
    
    # Randomly select a momentum between 0.85 and 0.99
    momentum = ____
    
    values.append((lr, momentum))
       
plot_hyperparameter_search(values)
Редактировать и запускать код