Aplicación de la búsqueda aleatoria

La búsqueda de hiperparámetros es un método costoso desde el punto de vista informático para experimentar con diferentes valores de hiperparámetros. Sin embargo, puede mejorar el rendimiento. En este ejercicio, implementarás un algoritmo de búsqueda aleatoria.

Muestreará aleatoriamente 10 valores de la tasa de aprendizaje y el momento a partir de la distribución uniforme. Para ello, utilizará la función np.random.uniform().

numpy ya se ha importado como np, y se ha creado una función plot_hyperparameter_search() para visualizar tus resultados.

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

Instrucciones de ejercicio

Muestrear aleatoriamente un factor de tasa de aprendizaje entre 2 y 4 para que la tasa de aprendizaje (lr) esté acotada entre \(10^{-2}\) y \(10^{-4}\).
Muestre al azar un momento entre 0,85 y 0,99.

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

values = []
for idx in range(10):
    # Randomly sample a learning rate factor between 2 and 4
    factor = ____
    lr = 10 ** -factor
    
    # Randomly select a momentum between 0.85 and 0.99
    momentum = ____
    
    values.append((lr, momentum))
       
plot_hyperparameter_search(values)

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Coches que se conducen solos, smartphones, motores de búsqueda... El aprendizaje profundo está ahora en todas partes. Antes de empezar a construir modelos complejos, se familiarizará con PyTorch, un marco de aprendizaje profundo. Aprenderás a manipular tensores, a crear estructuras de datos en PyTorch y a construir tu primera red neuronal en PyTorch con capas lineales.

Exercise 1: Introducción al aprendizaje profundo con PyTorch Exercise 2: Introducción a los tensores de PyTorch Exercise 3: Comprobar y sumar tensores Exercise 4: Redes neuronales y capas Exercise 5: Red de capas lineales Exercise 6: Comprender los pesos Exercise 7: Capas ocultas y parámetros Exercise 8: Su primera red neuronal Exercise 9: Apilamiento de capas lineales Exercise 10: Contar el número de parámetros

Para entrenar una red neuronal en PyTorch, primero tendrás que entender componentes adicionales, como las funciones de activación y pérdida. Entonces te darás cuenta de que entrenar una red requiere minimizar esa función de pérdida, lo que se hace calculando gradientes. Aprenderás a utilizar estos gradientes para actualizar los parámetros de tu modelo.

Exercise 1: Descubrir las funciones de activación Exercise 2: ¡Active su comprensión!Exercise 3: Las funciones sigmoidea y softmax Exercise 4: Ejecutar un pase hacia delante Exercise 5: Creación de un clasificador binario en PyTorch Exercise 6: De la regresión a la clasificación multiclase Exercise 7: Uso de funciones de pérdida para evaluar las predicciones de los modelos Exercise 8: Creación de etiquetas codificadas en un solo paso Exercise 9: Cálculo de la pérdida de entropía cruzada Exercise 10: Uso de derivadas para actualizar los parámetros del modelo Exercise 11: Acceso a los parámetros del modelo Exercise 12: Actualización manual de los pesos Exercise 13: Uso del optimizador PyTorch

Ahora que has aprendido los componentes clave de una red neuronal, entrenarás una utilizando un bucle de entrenamiento. Explorarás posibles problemas, como la desaparición de gradientes, y aprenderás estrategias para resolverlos, como funciones de activación alternativas y el ajuste de la velocidad y el impulso de aprendizaje.

Exercise 1: Una inmersión más profunda en la carga de datos Exercise 2: Utilizar TensorDataset Exercise 3: Uso de DataLoader Exercise 4: Escribir nuestro primer bucle de entrenamiento Exercise 5: Utilizar el MSELoss Exercise 6: Escribir un bucle de entrenamiento Exercise 7: Funciones de activación ReLU Exercise 8: Implantación de ReLU Exercise 9: Aplicación de ReLU con fugas Exercise 10: Comprender las funciones de activación Exercise 11: Ritmo de aprendizaje e impulso Exercise 12: Experimentar con el ritmo de aprendizaje Exercise 13: Experimentar con el impulso

Entrenar un modelo de aprendizaje profundo es un arte, y para asegurarnos de que nuestro modelo está entrenado correctamente, necesitamos hacer un seguimiento de ciertas métricas durante el entrenamiento, como la pérdida o la precisión. Aprenderemos a calcular estas métricas y a reducir el sobreajuste.

Exercise 1: Inicialización de capas y aprendizaje por transferencia Exercise 2: Puesta a punto Exercise 3: Congelar capas de un modelo Exercise 4: Inicialización de capas Exercise 5: Evaluación del rendimiento de los modelos Exercise 6: Escribir el bucle de evaluación Exercise 7: Cálculo de la precisión mediante torchmetrics Exercise 8: Lucha contra el sobreajuste Exercise 9: Experimentar con el abandono Exercise 10: Comprender el sobreajuste Exercise 11: Mejorar el rendimiento de los modelos Exercise 12: Aplicación de la búsqueda aleatoria

Ejercicio actual

Exercise 13: Vídeo de recapitulación