Llama 3 모델을 미세 조정하는 다양한 방법을 알아보고, 미세 조정을 단순화하기 위해 설계된 라이브러리 TorchTune을 살펴봅니다. 이 장에서는 데이터 준비, TorchTune의 레시피 기반 시스템, 효율적인 작업 설정을 안내하여 첫 미세 조정 작업을 시작하는 데 필요한 핵심 단계를 제공합니다.

Llama 파인튜닝 라이브러리

TorchTune 레시피 나열하기

TorchTune 작업 실행하기

파인튜닝을 위한 데이터 전처리

평가용 데이터셋 필터링

학습 샘플 만들기

전처리된 데이터셋 저장하기

TorchTune으로 파인튜닝하기

사용자 정의 레시피 정의하기

사용자 정의 레시피 저장하기

사용자 지정 미세 조정 실행

Llama 미세 조정 준비하기

미세 조정이 특정 작업에서 작은 모델의 성능을 크게 향상시킬 수 있는 방법을 배웁니다. 먼저 더 작은 Llama 모델을 미세 조정해 작업 특화 성능을 높여 보세요. 다음으로 LoRA 같은 파라미터 효율적 미세 조정 기법을 익히고, 더 큰 모델도 불러와 사용할 수 있도록 양자화를 탐색합니다.

Hugging Face로 모델 파인튜닝

Llama 학습 인자 설정하기

고객 지원 QA를 위한 Llama 파인튜닝

ROUGE로 생성 텍스트 평가하기

LoRA로 효율적으로 미세 조정하기

LoRA 어댑터 사용하기

고객 지원을 위한 Llama LoRA 파인튜닝

양자화를 통해 모델을 더 작게 만들기

8비트 모델 로드하기

양자화된 모델에서 추론 속도 높이기

축하합니다!

Hugging Face의 SFTTrainer로 미세 조정하기

오픈 소스 Llama LLM을 미세 조정해 특정 업무에 최적화해 보세요. TorchTune의 레시피 기반 시스템과 Hugging Face의 SFTTrainer를 활용해 미세 조정 루프를 실행하고, 사용자 정의 데이터셋으로 모델을 준비하는 방법을 배웁니다. 마지막으로 LoRA 같은 파라미터 효율적 기법을 실험하고, 양자화를 적용해 모델 메모리 사용량을 줄여 더 효율적으로 작업을 수행해 보세요.

<h2>Llama 모델 미세 조정</h2> 이 강의는 Llama 모델을 준비하고 다루는 방법에 대한 종합적인 가이드를 제공합니다. 실습 예제와 실용적인 연습을 통해 다양한 Llama 미세 조정 작업을 구성하는 방법을 배우게 됩니다. <h2>파인튜닝을 위한 데이터셋 준비</h2> Hugging Face Datasets 라이브러리를 사용하여 데이터셋을 로드, 분할, 저장하는 등 데이터셋 준비 기법을 탐색하며, Llama 프로젝트를 위한 고품질 데이터를 확보하세요. <h2>파인튜닝 프레임워크로 작업하기</h2> TorchTune 및 Hugging Face의 SFTTrainer와 같은 최신 라이브러리를 사용하여 파인튜닝 워크플로우를 탐색해 보세요. fine-tuning 레시피를 구성하고, training arguments를 설정하며, LoRA(Low-Rank Adaptation) 및 BitsAndBytes를 사용한 quantization과 같은 효율적인 기법을 활용하여 리소스 사용을 최적화하는 방법을 배우게 됩니다. 강의에서 배운 기술들을 결합함으로써, 여러분은 Llama 모델을 프로젝트의 요구에 맞게 효율적으로 맞춤화할 수 있습니다.

Working with Llama 3

TorchTune을 사용해 Llama를 맞춤 작업에 맞게 미세 조정하고, 양자화 등 효율적 기법을 배워보세요.

Llama 3 미세 조정(Fine-Tuning)

TorchTune로 Llama를 맞춤 작업에 파인튜닝하고, quantization 등 효율적 파인튜닝 기법을 학습하세요.

라마 기초

사용자 지정 미세 조정 실행

Llama 3 미세 조정(Fine-Tuning)

실습형 인터랙티브 연습문제