Zapisywanie i wczytywanie stanu przetworzonego tekstu

Wstępne przetwarzanie zbioru danych z rolniczymi pytaniami i odpowiedziami – który ma pomóc rolnikom szybko znajdować rozwiązania typowych problemów – jest już gotowe. Aby zachować postęp, tworzysz punkty kontrolne (checkpoints) przetworzonych danych tekstowych i wczytujesz je z powrotem.

Następujące dane zostały wcześniej załadowane:

dataloader zawiera wstępnie przetworzony zbiór danych z rolniczymi pytaniami i odpowiedziami
Accelerator został zaimportowany z accelerate

To ćwiczenie jest częścią kursu

Efektywne trenowanie modeli AI z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Zapisz punkt kontrolny przetworzonych danych w katalogu checkpoint_dir.
Wczytaj punkt kontrolny z katalogu checkpoint_dir.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Edytuj i uruchom kod