Daten mit LightningDataModule aufteilen

Du wirst die „ setup ”-Methode in einem „ LightningDataModule ” abschließen. Eine gute Aufteilung der Datensätze sorgt dafür, dass das Modell auf einer Teilmenge trainiert und auf einer anderen validiert wird, was Überanpassung verhindert.

Der „ dataset ” wurde schon vorinstalliert.

Diese Übung ist Teil des Kurses

Skalierbare KI-Modelle mit PyTorch Lightning

Anleitung zur Übung

Importier „ random_split “, um den Datensatz in Trainings- und Validierungsdaten aufzuteilen.
Teile den Datensatz mit „ random_split “ in einen Trainingssatz (80 %) und einen Validierungssatz (20 %) auf.

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Import libraries 
import lightning.pytorch as pl
from torch.utils.data import ____

class SplitDataModule(pl.LightningDataModule):
    def __init__(self):
        super().__init__()
        self.train_data = None
        self.val_data = None
    def setup(self, stage=None):
        # Split the dataset into training (80%) and validation (20%)
        self.____, self.____ = random_split(dataset, [____, ____])

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Skalierbare KI-Modelle mit PyTorch Lightning

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

In diesem Kapitel schauen wir uns an, wie PyTorch Lightning die Entwicklung und Bereitstellung von skalierbaren KI-Modellen einfacher macht. Wir fangen mit den Grundlagen an und schauen uns dann die Kernstruktur eines PyTorch Lightning-Projekts an, einschließlich wichtiger Teile wie LightningModule und Trainer, um eine solide Basis für fortgeschrittenere KI-Lösungen zu schaffen.

Exercise 1: Einführung in PyTorch Lightning Exercise 2: Vorstellung des LightningModuls Exercise 3: Den Lightning Trainer starten Exercise 4: Modelle mit LightningModule definieren Exercise 5: Verwendung des LightningModuls Exercise 6: Die init-Methode richtig anwenden Exercise 7: Die Vorwärtsmethode perfektionieren Exercise 8: Trainingslogik umsetzen Exercise 9: Durchführung des Schulungsschritts Exercise 10: Den Optimierer einrichten Exercise 11: Schulung und Bewertung

In diesem Kapitel schauen wir uns PyTorch Lightning genauer an, um Daten effizient zu verwalten und das Modelltraining zu optimieren. Wir zeigen dir, wie du mit LightningDataModule modulare und wiederverwendbare Daten-Workflows erstellst, deine Modelle durch Validierung und Tests genau bewertest und Trainingsprozesse mit Lightning Callbacks verbesserst, um die Modellverbesserung zu automatisieren und Überanpassungen zu vermeiden.

Exercise 1: Daten mit LightningDataModule verwalten Exercise 2: Daten mit LightningDataModule aufteilen

Aktuelle Übung

Exercise 3: Erstellen eines Zug-DataLoaders Exercise 4: Validierung und Tests einbauen Exercise 5: Den Validierungsschritt machen Exercise 6: Modellgenauigkeit mit Torchmetrics checken Exercise 7: Verbesserung der Schulung mit Lightning-Callbacks Exercise 8: Blitz-Callbacks sortieren Exercise 9: Modelltraining mit Lightning optimieren

Lerne, wie du Deep-Learning-Modelle für den Einsatz in der Praxis vorbereitest, indem du sie schlanker und schneller machst. In diesem Kapitel geht's um Techniken wie dynamische Quantisierung, Pruning und TorchScript-Konvertierung, mit denen du die Modellgröße und Latenz reduzieren kannst, ohne dass die Genauigkeit leidet.

Exercise 1: Dynamische Quantisierung anwenden Exercise 2: Dynamische Quantisierung anwenden Exercise 3: Vergleich der Leistung quantisierter Modelle Exercise 4: Modellbeschneidungstechniken anwenden Exercise 5: Lineare Ebene beschneiden Exercise 6: Schließ das Beschneiden ab, indem du die Maske entfernst.Exercise 7: Modelle mit TorchScript exportieren Exercise 8: Die richtige Konvertierungsmethode auswählen Exercise 9: Modelle für Skalierbarkeit optimieren Exercise 10: Zusammenfassung: Skalierbare KI-Modelle mit PyTorch Lightning