ComenzarEmpieza gratis

Inicio
Cursos
Entrenamiento eficiente de modelos de IA con PyTorch

Entrenamiento de precisión mixto

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

AvanzadoNivel de habilidad

4.9+

Comienza el curso gratis

Prepararás los datos para el entrenamiento distribuido dividiéndolos en varios dispositivos y copiando el modelo en cada uno de ellos. Acelerador proporciona una cómoda interfaz para la preparación de datos, y aprenderás a preprocesar imágenes, audio y texto como primer paso en el entrenamiento distribuido.

Exercise 1: Preparar modelos con AutoModel y Acelerador Exercise 2: Carga e inspección de modelos preentrenados Exercise 3: Colocación automática de dispositivos con Acelerador Exercise 4: Preprocesar imágenes y audio para el entrenamiento Exercise 5: Preprocesar conjuntos de datos de imágenes Exercise 6: Preprocesar conjuntos de datos de audio Exercise 7: Preparar conjuntos de datos para el entrenamiento distribuido Exercise 8: Preprocesar el texto para el entrenamiento Exercise 9: Preprocesar texto con AutoTokenizer Exercise 10: Guardar y cargar el estado del texto preprocesado

En el entrenamiento distribuido, cada dispositivo se entrena en sus datos en paralelo. Investigarás dos métodos de formación distribuida: Acelerador permite bucles de entrenamiento personalizados, y Entrenador simplifica la interfaz para el entrenamiento.

Exercise 1: Afina los modelos con el Entrenador Exercise 2: Definir las métricas de evaluación Exercise 3: Especifica los TrainingArguments Exercise 4: Configurar el Entrenador Exercise 5: Entrenar modelos con Accelerator Exercise 6: Preparar un modelo para el entrenamiento distribuido Exercise 7: Bucle for antes y después del Acelerador Exercise 8: Construir un bucle de entrenamiento con Accelerator Exercise 9: Evaluar modelos con Accelerator Exercise 10: Poner el modelo en modo evaluación Exercise 11: Registro de métricas de evaluación

El entrenamiento distribuido sobrecarga los recursos con grandes modelos y conjuntos de datos, pero puedes afrontar estos retos mejorando el uso de la memoria, la comunicación entre dispositivos y la eficiencia computacional. Descubrirás las técnicas de acumulación de gradiente, control de gradiente, descenso de gradiente estocástico local y entrenamiento de precisión mixta.

Exercise 1: Acumulación de gradiente Exercise 2: Acumulación de gradiente con Acelerador Exercise 3: Acumulación de gradiente con Entrenador Exercise 4: Punto de control del gradiente y SGD local Exercise 5: Punto de control de gradiente con Acelerador Exercise 6: Punto de control de gradiente con Trainer Exercise 7: SGD local con acelerador Exercise 8: Entrenamiento de precisión mixto

Ejercicio actual

Exercise 9: Entrenamiento de precisión mixta con PyTorch básico Exercise 10: Entrenamiento de precisión mixto con Accelerator Exercise 11: Entrenamiento de precisión mixto con Entrenador

Te centrarás en los optimizadores como palancas para mejorar la eficacia del entrenamiento distribuido, destacando las compensaciones entre AdamW, Adafactor y Adam de 8 bits. Reducir el número de parámetros o utilizar una precisión baja ayuda a disminuir la huella de memoria de un modelo.

Exercise 1: Entrenamiento equilibrado con AdamW Exercise 2: AdamW con Entrenador Exercise 3: AdamW con Acelerador Exercise 4: Calcula el tamaño del optimizador Exercise 5: Entrenamiento eficiente en memoria con Adafactor Exercise 6: Adafactor con Entrenador Exercise 7: Adafactor con Acelerador Exercise 8: Entrenamiento de precisión mixta con Adam de 8 bits Exercise 9: Configura el optimizador Adam de 8 bits Exercise 10: Adam de 8 bits con Entrenador Exercise 11: Adam de 8 bits con acelerador Exercise 12: ¿Qué optimizador es?Exercise 13: ¡Enhorabuena!