Experimentar con el abandono

El abandono ayuda a evitar el sobreajuste, poniendo aleatoriamente a cero algunos valores de salida durante el entrenamiento. En este ejercicio, construirás una red neuronal sencilla con abandono y observarás cómo se comporta en los modos de entrenamiento y evaluación.

torch.nn está precargado como nn, y features ya está definido para ti.

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

# Model with Dropout
model = nn.Sequential(
    nn.Linear(8, 6),
    nn.Linear(6, 4),
    ____)

# Forward pass in training mode (Dropout active)
model.____
output_train = ____

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Vehículos autónomos, smartphones, motores de búsqueda... El aprendizaje profundo está ahora en todas partes. Antes de empezar a crear modelos complejos, te familiarizarás con PyTorch, un marco de aprendizaje profundo. Aprenderás a manipular tensores, crear estructuras de datos de PyTorch y construir tu primera red neuronal en PyTorch con capas lineales.

Exercise 1: Introducción al aprendizaje profundo con PyTorch Exercise 2: Introducción a los tensores de PyTorch Exercise 3: Comprobar y sumar tensores Exercise 4: Redes neuronales y capas Exercise 5: Red de capas lineales Exercise 6: Comprender los pesos Exercise 7: Capas y parámetros ocultos Exercise 8: Tu primera red neuronal Exercise 9: Apilar capas lineales Exercise 10: Contar el número de parámetros

Para entrenar una red neuronal en PyTorch, primero tendrás que entender componentes adicionales, como las funciones de activación y pérdida. Entonces te darás cuenta de que entrenar una red requiere reducir al mínimo esa función de pérdida, lo que se hace calculando gradientes. Aprenderás a utilizar estos gradientes para actualizar los parámetros de tu modelo.

Exercise 1: Descubrir las funciones de activación Exercise 2: ¡Activa tu comprensión!Exercise 3: Las funciones sigmoide y softmax Exercise 4: Ejecutar un paso hacia delante Exercise 5: Crear un clasificador binario en PyTorch Exercise 6: De la regresión a la clasificación multiclase Exercise 7: Utilizar funciones de pérdida para evaluar las previsiones del modelo Exercise 8: Creación de etiquetas con programación one-hot Exercise 9: Cálculo de la pérdida de entropía cruzada Exercise 10: Utilizar derivadas para actualizar los parámetros del modelo Exercise 11: Acceso a los parámetros del modelo Exercise 12: Actualización manual de los pesos Exercise 13: Uso del optimizador PyTorch

Ahora que has aprendido los componentes clave de una red neuronal, entrenarás una utilizando un bucle de entrenamiento. Explorarás posibles problemas, como la desaparición de gradientes, y aprenderás estrategias para resolverlos, como funciones de activación alternativas y el ajuste de la tasa de aprendizaje y el impulso.

Exercise 1: Una inmersión más profunda en la carga de datos Exercise 2: Utilizar TensorDataset Exercise 3: Uso de DataLoader Exercise 4: Escribir nuestro primer bucle de entrenamiento Exercise 5: Utilizar el MSELoss Exercise 6: Escribir un bucle de entrenamiento Exercise 7: Funciones de activación ReLU Exercise 8: Implantación de ReLU Exercise 9: Implementación de Leaky ReLU Exercise 10: Comprender las funciones de activación Exercise 11: Ritmo de aprendizaje e impulso Exercise 12: Experimentar con la tasa de aprendizaje Exercise 13: Experimentar con el impulso

Entrenar un modelo de aprendizaje profundo es un arte, y para asegurarnos de que nuestro modelo se entrene correctamente, necesitamos hacer un seguimiento de ciertos parámetros durante el entrenamiento, como la pérdida o la exactitud. Aprenderemos a calcular estas métricas y a reducir el sobreajuste.

Exercise 1: Inicialización de capas y aprendizaje por transferencia Exercise 2: Proceso de ajuste Exercise 3: Congelar capas de un modelo Exercise 4: Inicialización de capas Exercise 5: Evaluación del rendimiento de los modelos Exercise 6: Escribir el bucle de evaluación Exercise 7: Cálculo de la exactitud mediante TorchMetrics Exercise 8: Lucha contra el sobreajuste Exercise 9: Experimentar con el abandono

Ejercicio actual

Exercise 10: Comprender el sobreajuste Exercise 11: Mejorar el rendimiento del modelo Exercise 12: Implementación de la búsqueda aleatoria Exercise 13: Vídeo de recapitulación