Aan de slagGa gratis aan de slag

Objectdetectie

In deze oefening gebruik je dezelfde flickr-gegevensset als eerder, met 30.000 afbeeldingen en bijbehorende bijschriften. Nu ga je de bounding boxes vinden van objecten die door het model zijn gedetecteerd.

Photo of 2 people, 1 is playing the guitar

De voorbeeldafbeelding (image) en de pipeline-module (pipeline) zijn al geladen.

Deze oefening maakt deel uit van de cursus

Multi-modale modellen met Hugging Face

Cursus bekijken

Oefeninstructies

  • Laad de object-detection-pipeline met het voorgetrainde model facebook/detr-resnet-50.
  • Zoek het label van het gedetecteerde object.
  • Zoek de bijbehorende betrouwbaarheids-score van het gedetecteerde object.
  • Zoek de coördinaten van de bounding box van het gedetecteerde object.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Load the object-detection pipeline
pipe = pipeline("____", "____", revision="no_timm")
pred = pipe(image)
outputs = pipe(image)

for n, obj in enumerate(outputs):
    # Find the detected label
    label = ____
    # Find the confidence score of the prediction
    confidence = ____
    # Obtain the bounding box coordinates
    box = ____
    
    plot_args = {"linewidth": 1, "edgecolor": colors[n], "facecolor": 'none'}
    rect = patches.Rectangle((box['xmin'], box['ymin']), box['xmax']-box['xmin'], box['ymax']-box['ymin'], **plot_args)
    ax.add_patch(rect)
    print(f"Detected {label} with confidence {confidence:.2f} at ({box['xmin']}, {box['ymin']}) to ({box['xmax']}, {box['ymax']})")

plt.show()
Code bewerken en uitvoeren