Eigene Rezepte definieren
Du feinabstimmst ein vortrainiertes Llama-Modell für eine Kundin bzw. einen Kunden, die bzw. der spezielle Konfigurationen benötigt. Du planst, TorchTune für das Fine-Tuning zu verwenden, und musst daher ein Python-Dictionary vorbereiten, in dem du die Anforderungen für das benutzerdefinierte Rezept speicherst, mit dem du den Fine-Tuning-Job ausführen wirst.
Diese Übung ist Teil des Kurses
Feinabstimmung mit Llama 3
Anleitung zur Übung
- Lege die Kundenanforderungen in deinem Dictionary fest: Füge zuerst das Modell
torchtune.models.llama3_2.llama3_2_1bhinzu. - Füge eine Batchgröße von 8 und ein GPU-Gerät hinzu.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}