Segmentierung mit vortrainiertem Mask R-CNN

In dieser Übung verwendest du das vortrainierte Mask R-CNN-Modell, um Instanzsegmentierung auf dem folgenden Bild mit zwei Katzen durchzuführen.

two cats image

Das Modell, das du verwendest, wurde auf dem COCO-Dataset vortrainiert. Es enthält Bilder gängiger Objekte, darunter auch Tiere. Dadurch sollte das Modell Katzen direkt erkennen können, ohne dass ein Fine-Tuning nötig ist.

Deine Aufgabe ist es, das Modell und das Katzenbild zu laden, das Bild vorzubereiten und an das Modell zu übergeben, um die Vorhersagen zu erhalten. Image aus PIL, torch, transforms aus torchvision und maskrcnn_resnet50_fpn wurden bereits für dich importiert.

Diese Übung ist Teil des Kurses

Deep Learning für Bilder mit PyTorch

Kurs anzeigen

Anleitung zur Übung

Lade das pretrained Mask R-CNN mit maskrcnn_resnet50_fpn() in model.
Wandle das Katzenbild in einen Tensor um und führe unsqueeze aus.
Führe Inferenz durch, indem du das Bild an das Modell übergibst, und weise die Ausgabe prediction zu.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Load a pre-trained Mask R-CNN model
model = ____(____)
model.eval()

# Load an image and convert to a tensor
image = Image.open("two_cats.jpg")
transform = transforms.Compose([transforms.ToTensor()])
image_tensor = transform(image).____

# Perform inference
with torch.no_grad():
    prediction = ____
    print(prediction)

Code bearbeiten und ausführen