Ön işlenmiş metnin durumunu kaydet ve yükle
Tarladaki yaygın sorunları bulmalarına yardımcı olmak için çiftçilere yönelik tarımsal soru-cevap veri kümesini ön işlemeden geçirdin. İlerlemeni kaydetmek için, ön işlenmiş metin verisinin denetim noktalarını (checkpoint) oluşturup yüklemeye karar verdin.
Bazı veriler önceden yüklendi:
dataloader, tarımsal soru ve cevaplardan oluşan ön işlenmiş bir veri kümesini içerirAccelerator,accelerateiçinden içe aktarıldı
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Verimli AI Model Eğitimi
Egzersiz talimatları
checkpoint_diriçine ön işlenmiş verinin bir denetim noktasını kaydet.checkpoint_diriçinden bir denetim noktasını yükle.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)