전처리된 텍스트 상태 저장 및 불러오기
농업 관련 질문과 답변 데이터셋 전처리를 완료했습니다. 이 데이터셋은 농부들이 현장에서 발생하는 일반적인 문제를 쉽게 찾아볼 수 있도록 돕기 위한 것입니다. 작업 내용을 보존하기 위해 전처리된 텍스트 데이터의 체크포인트를 생성하고 불러오려고 합니다.
다음 데이터가 미리 로드되어 있습니다:
dataloader에는 전처리된 농업 관련 질문과 답변 데이터셋이 포함되어 있습니다.Accelerator는accelerate에서 임포트되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch로 AI 모델 효율적으로 학습시키기
연습 안내
checkpoint_dir에 전처리된 데이터의 체크포인트를 저장하세요.checkpoint_dir에서 체크포인트를 불러오세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)