Eine Funktion für das Chunking festlegen
Um Upserts in einem reproduzierbaren Prozess zu machen, musst du eine Funktion definieren, die deine Vektorliste in Teile aufteilt.
Das integrierte Modul „ itertools “ wurde bereits für dich importiert.
Diese Übung ist Teil des Kurses
Vektordatenbanken für Einbettungen mit Pinecone
Anleitung zur Übung
- Wandelt die Eingabe „
iterable“ in einen Iterator um. - Teile „
it“ mit dem Modul „itertools“ in Stücke der Größe „batch_size“. - Gib den aktuellen Block zurück.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
def chunks(iterable, batch_size=100):
"""A helper function to break an iterable into chunks of size batch_size."""
# Convert the iterable into an iterator
it = ____
# Slice the iterator into chunks of size batch_size
chunk = tuple(itertools.____(it, ____))
while chunk:
# Yield the chunk
____
chunk = tuple(itertools.islice(it, batch_size))