Active learning-loop
Nu je je active learner hebt opgezet, is het tijd om ’m te gebruiken! In deze oefening implementeer je een lus waarmee je de categorisatie van de data continu verbetert.
De gegevensset is geladen met X_labeled voor gelabelde trainingsdata, X_unlabeled voor ongelabelde trainingsdata en y_labeled voor de labels.
Het object learner is al geïmporteerd.
Deze oefening maakt deel uit van de cursus
Reinforcement Learning from Human Feedback (RLHF)
Oefeninstructies
- Implementeer een lus die
10queries uitvoert. - Laat in elke iteratie de learner zichzelf trainen met de huidige gelabelde data.
- Gebruik de learner om de meest onzekere datapunten uit de ongelabelde data op te vragen, met het aantal instanties ingesteld op
5. - Werk de ongelabelde gegevensset daarna bij.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Set the number of queries
____
for _ in range(n_queries):
# Use the current labeled data
____
# Query from unlabeled data
query_idx, _ = ____
X_new, y_new = X_unlabeled[query_idx], y[query_idx]
X_labeled = np.vstack((X_labeled, X_new))
y_labeled = np.append(y_labeled, y_new)
# Update the unlabeled dataset
X_unlabeled = np.delete(____, query_idx, axis=0)