Aplicación de ReLU con fugas

Aunque el ReLU es muy utilizado, establece las entradas negativas en 0, lo que da lugar a gradientes nulos para esos valores. Esto puede impedir que algunas partes del modelo aprendan.

Leaky ReLU lo supera permitiendo gradientes pequeños para entradas negativas, controlados por el parámetro negative_slope. En lugar de 0, las entradas negativas se escalan por este pequeño valor, manteniendo activo el aprendizaje del modelo.

En este ejercicio, implementarás la función ReLU con fugas en PyTorch y practicarás su uso. Ya se ha importado el paquete torch, así como torch.nn como nn.

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____

x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Coches que se conducen solos, smartphones, motores de búsqueda... El aprendizaje profundo está ahora en todas partes. Antes de empezar a construir modelos complejos, se familiarizará con PyTorch, un marco de aprendizaje profundo. Aprenderás a manipular tensores, a crear estructuras de datos en PyTorch y a construir tu primera red neuronal en PyTorch con capas lineales.

Exercise 1: Introducción al aprendizaje profundo con PyTorch Exercise 2: Introducción a los tensores de PyTorch Exercise 3: Comprobar y sumar tensores Exercise 4: Redes neuronales y capas Exercise 5: Red de capas lineales Exercise 6: Comprender los pesos Exercise 7: Capas ocultas y parámetros Exercise 8: Su primera red neuronal Exercise 9: Apilamiento de capas lineales Exercise 10: Contar el número de parámetros

Para entrenar una red neuronal en PyTorch, primero tendrás que entender componentes adicionales, como las funciones de activación y pérdida. Entonces te darás cuenta de que entrenar una red requiere minimizar esa función de pérdida, lo que se hace calculando gradientes. Aprenderás a utilizar estos gradientes para actualizar los parámetros de tu modelo.

Exercise 1: Descubrir las funciones de activación Exercise 2: ¡Active su comprensión!Exercise 3: Las funciones sigmoidea y softmax Exercise 4: Ejecutar un pase hacia delante Exercise 5: Creación de un clasificador binario en PyTorch Exercise 6: De la regresión a la clasificación multiclase Exercise 7: Uso de funciones de pérdida para evaluar las predicciones de los modelos Exercise 8: Creación de etiquetas codificadas en un solo paso Exercise 9: Cálculo de la pérdida de entropía cruzada Exercise 10: Uso de derivadas para actualizar los parámetros del modelo Exercise 11: Acceso a los parámetros del modelo Exercise 12: Actualización manual de los pesos Exercise 13: Uso del optimizador PyTorch

Ahora que has aprendido los componentes clave de una red neuronal, entrenarás una utilizando un bucle de entrenamiento. Explorarás posibles problemas, como la desaparición de gradientes, y aprenderás estrategias para resolverlos, como funciones de activación alternativas y el ajuste de la velocidad y el impulso de aprendizaje.

Exercise 1: Una inmersión más profunda en la carga de datos Exercise 2: Utilizar TensorDataset Exercise 3: Uso de DataLoader Exercise 4: Escribir nuestro primer bucle de entrenamiento Exercise 5: Utilizar el MSELoss Exercise 6: Escribir un bucle de entrenamiento Exercise 7: Funciones de activación ReLU Exercise 8: Implantación de ReLU Exercise 9: Aplicación de ReLU con fugas

Ejercicio actual

Exercise 10: Comprender las funciones de activación Exercise 11: Ritmo de aprendizaje e impulso Exercise 12: Experimentar con el ritmo de aprendizaje Exercise 13: Experimentar con el impulso

Entrenar un modelo de aprendizaje profundo es un arte, y para asegurarnos de que nuestro modelo está entrenado correctamente, necesitamos hacer un seguimiento de ciertas métricas durante el entrenamiento, como la pérdida o la precisión. Aprenderemos a calcular estas métricas y a reducir el sobreajuste.

Exercise 1: Inicialización de capas y aprendizaje por transferencia Exercise 2: Puesta a punto Exercise 3: Congelar capas de un modelo Exercise 4: Inicialización de capas Exercise 5: Evaluación del rendimiento de los modelos Exercise 6: Escribir el bucle de evaluación Exercise 7: Cálculo de la precisión mediante torchmetrics Exercise 8: Lucha contra el sobreajuste Exercise 9: Experimentar con el abandono Exercise 10: Comprender el sobreajuste Exercise 11: Mejorar el rendimiento de los modelos Exercise 12: Aplicación de la búsqueda aleatoria Exercise 13: Vídeo de recapitulación