Eigene Rezepte definieren
Du feinabstimmst ein vortrainiertes Llama-Modell für eine Kundin bzw. einen Kunden, die bzw. der spezielle Konfigurationen benötigt. Du planst, TorchTune für das Fine-Tuning zu verwenden, und musst daher ein Python-Dictionary vorbereiten, in dem du die Anforderungen für das benutzerdefinierte Rezept speicherst, mit dem du den Fine-Tuning-Job ausführen wirst.
Diese Übung ist Teil des Kurses
<Kurs>Feinabstimmung mit Llama 3</Kurs>Übungsanweisungen
- Lege die Kundenanforderungen in deinem Dictionary fest: Füge zuerst das Modell
torchtune.models.llama3_2.llama3_2_1bhinzu. - Füge eine Batchgröße von 8 und ein GPU-Gerät hinzu.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}