새 프로젝트를 시작하면서 모델 훈련에 사용할 옵티마이저를 선택해야 합니다. 올바른 선택을 위해 각 옵티마이저의 장단점을 살펴보세요. 각 옵티마이저의 특징을 설명할 수 있나요?
이 연습은 강의의 일부입니다
이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요
여러 디바이스에 데이터를 분할하고 각 디바이스에 모델을 복사하여 분산 학습을 위한 데이터를 준비합니다. Accelerator는 데이터 준비를 위한 편리한 인터페이스를 제공하며, 분산 학습의 첫 단계로 이미지, 오디오, 텍스트를 전처리하는 방법을 배웁니다.
분산 학습에서는 각 디바이스가 자신의 데이터를 병렬로 학습합니다. 분산 학습을 위한 두 가지 방법을 살펴봅니다. Accelerator는 커스텀 학습 루프를 지원하고, Trainer는 학습 인터페이스를 간소화합니다.
대규모 모델과 데이터셋은 분산 학습 시 리소스에 부담을 줍니다. 메모리 사용, 디바이스 통신, 연산 효율을 개선하여 이러한 문제를 해결할 수 있습니다. 그래디언트 누적, 그래디언트 체크포인팅, 로컬 확률적 경사 하강법, 혼합 정밀도 학습 기법을 배웁니다.
옵티마이저를 분산 학습 효율 향상의 도구로 활용하는 방법에 집중하며, AdamW, Adafactor, 8-bit Adam 간의 트레이드오프를 살펴봅니다. 파라미터 수를 줄이거나 낮은 정밀도를 사용하면 모델의 메모리 사용량을 줄일 수 있습니다.
현재 연습
