LoslegenKostenlos loslegen

Modelle für Skalierbarkeit optimieren

Der effiziente Einsatz von KI-Modellen ist super wichtig für echte Anwendungen, bei denen es auf die Geschwindigkeit der Schlussfolgerungen, die Größe der Modelle und die Rechenleistung ankommt. Jetzt checken wir mal, ob du Modelle speichern und laden kannst, um sie einzusetzen. Du wirst Techniken wie den TorchScript-Export verwenden, um den Arbeitsablauf abzuschließen. Der verwendete Datensatz ist eine Abwandlung des MNIST-Datensatzes.

Wenn du diese Übung machst, hast du ein Modell vorbereitet, das für die Bereitstellung optimiert ist und die fortgeschrittenen Techniken aus dieser Lektion anwendet.

X_testDie Datensätze „ y_test “ sowie „ torch.jit “ wurden bereits für dich vorinstalliert.

Diese Übung ist Teil des Kurses

Skalierbare KI-Modelle mit PyTorch Lightning

Kurs anzeigen

Anleitung zur Übung

  • Exportier das Modell mit der Funktion „ trace ” nach TorchScript.
  • Speicher das Modell als TorchScript.
  • Lade das gespeicherte Modell.

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Export model to TorchScript
scripted_model = torch.jit.____(model, torch.tensor(X_test[:1], dtype=torch.float32).unsqueeze(1))
# Save model to TorchScript
torch.jit.____(scripted_model, 'model.pt')

# Loaded saved model
loaded_model = torch.jit.____('____.pt')
# Validate inference on test dataset
test_loader = DataLoader(TensorDataset(torch.tensor(X_test, dtype=torch.float32).unsqueeze(1), ____), batch_size=64)

accuracy = evaluate_model(loaded_model, test_loader)

print(f"Optimized model accuracy: {accuracy:.2%}")
Code bearbeiten und ausführen