Segmentare cu Mask R-CNN pre-antrenat

În acest exercițiu, vei folosi modelul Mask R-CNN pre-antrenat pentru a realiza segmentarea instanțelor pe imaginea de mai jos, care conține doi pisici.

two cats image

Modelul pe care îl vei utiliza a fost pre-antrenat pe setul de date COCO, care conține imagini cu obiecte comune, inclusiv animale. Datorită acestui lucru, modelul ar trebui să recunoască pisicile fără nicio ajustare suplimentară.

Sarcina ta este să încarci modelul și imaginea cu cei doi pisici, să pregătești imaginea și să o transmiți modelului pentru a obține predicțiile. Image din PIL, torch, transforms din torchvision și maskrcnn_resnet50_fpn au fost deja importate.

Acest exercițiu face parte din cursul

Deep Learning pentru imagini cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Încarcă modelul Mask R-CNN pretrained în variabila model folosind maskrcnn_resnet50_fpn().
Transformă imaginea cu cei doi pisici într-un tensor și aplică unsqueeze pe ea.
Realizează inferența transmițând imaginea modelului și atribuie rezultatul variabilei prediction.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load a pre-trained Mask R-CNN model
model = ____(____)
model.eval()

# Load an image and convert to a tensor
image = Image.open("two_cats.jpg")
transform = transforms.Compose([transforms.ToTensor()])
image_tensor = transform(image).____

# Perform inference
with torch.no_grad():
    prediction = ____
    print(prediction)

Editează și rulează codul