Inicialización de capas

La inicialización de los pesos de una red neuronal ha sido el centro de atención de los investigadores durante muchos años. Cuando se entrena una red, el método utilizado para inicializar los pesos tiene un impacto directo en el rendimiento final de la red.

Como profesional del aprendizaje automático, debe ser capaz de experimentar con diferentes estrategias de inicialización. En este ejercicio, vas a crear una pequeña red neuronal formada por dos capas y vas a decidir inicializar los pesos de cada capa con el método uniforme.

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

Instrucciones de ejercicio

Para cada capa (layer0 y layer1), utilice el método de inicialización uniforme para inicializar los pesos.

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)

# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)

model = nn.Sequential(layer0, layer1)

Editar y ejecutar código

Este ejercicio forma parte del curso

Introducción al aprendizaje profundo con PyTorch

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Coches que se conducen solos, smartphones, motores de búsqueda... El aprendizaje profundo está ahora en todas partes. Antes de empezar a construir modelos complejos, se familiarizará con PyTorch, un marco de aprendizaje profundo. Aprenderás a manipular tensores, a crear estructuras de datos en PyTorch y a construir tu primera red neuronal en PyTorch con capas lineales.

Exercise 1: Introducción al aprendizaje profundo con PyTorch Exercise 2: Introducción a los tensores de PyTorch Exercise 3: Comprobar y sumar tensores Exercise 4: Redes neuronales y capas Exercise 5: Red de capas lineales Exercise 6: Comprender los pesos Exercise 7: Capas ocultas y parámetros Exercise 8: Su primera red neuronal Exercise 9: Apilamiento de capas lineales Exercise 10: Contar el número de parámetros

Para entrenar una red neuronal en PyTorch, primero tendrás que entender componentes adicionales, como las funciones de activación y pérdida. Entonces te darás cuenta de que entrenar una red requiere minimizar esa función de pérdida, lo que se hace calculando gradientes. Aprenderás a utilizar estos gradientes para actualizar los parámetros de tu modelo.

Exercise 1: Descubrir las funciones de activación Exercise 2: ¡Active su comprensión!Exercise 3: Las funciones sigmoidea y softmax Exercise 4: Ejecutar un pase hacia delante Exercise 5: Creación de un clasificador binario en PyTorch Exercise 6: De la regresión a la clasificación multiclase Exercise 7: Uso de funciones de pérdida para evaluar las predicciones de los modelos Exercise 8: Creación de etiquetas codificadas en un solo paso Exercise 9: Cálculo de la pérdida de entropía cruzada Exercise 10: Uso de derivadas para actualizar los parámetros del modelo Exercise 11: Acceso a los parámetros del modelo Exercise 12: Actualización manual de los pesos Exercise 13: Uso del optimizador PyTorch

Ahora que has aprendido los componentes clave de una red neuronal, entrenarás una utilizando un bucle de entrenamiento. Explorarás posibles problemas, como la desaparición de gradientes, y aprenderás estrategias para resolverlos, como funciones de activación alternativas y el ajuste de la velocidad y el impulso de aprendizaje.

Exercise 1: Una inmersión más profunda en la carga de datos Exercise 2: Utilizar TensorDataset Exercise 3: Uso de DataLoader Exercise 4: Escribir nuestro primer bucle de entrenamiento Exercise 5: Utilizar el MSELoss Exercise 6: Escribir un bucle de entrenamiento Exercise 7: Funciones de activación ReLU Exercise 8: Implantación de ReLU Exercise 9: Aplicación de ReLU con fugas Exercise 10: Comprender las funciones de activación Exercise 11: Ritmo de aprendizaje e impulso Exercise 12: Experimentar con el ritmo de aprendizaje Exercise 13: Experimentar con el impulso

Entrenar un modelo de aprendizaje profundo es un arte, y para asegurarnos de que nuestro modelo está entrenado correctamente, necesitamos hacer un seguimiento de ciertas métricas durante el entrenamiento, como la pérdida o la precisión. Aprenderemos a calcular estas métricas y a reducir el sobreajuste.

Exercise 1: Inicialización de capas y aprendizaje por transferencia Exercise 2: Puesta a punto Exercise 3: Congelar capas de un modelo Exercise 4: Inicialización de capas

Ejercicio actual

Exercise 5: Evaluación del rendimiento de los modelos Exercise 6: Escribir el bucle de evaluación Exercise 7: Cálculo de la precisión mediante torchmetrics Exercise 8: Lucha contra el sobreajuste Exercise 9: Experimentar con el abandono Exercise 10: Comprender el sobreajuste Exercise 11: Mejorar el rendimiento de los modelos Exercise 12: Aplicación de la búsqueda aleatoria Exercise 13: Vídeo de recapitulación