Eine Funktion für das Chunking festlegen
Um Upserts in einem reproduzierbaren Prozess zu machen, musst du eine Funktion definieren, die deine Vektorliste in Teile aufteilt.
Das integrierte Modul „ itertools “ wurde bereits für dich importiert.
Diese Übung ist Teil des Kurses
<Kurs>Vektordatenbanken für Einbettungen mit Pinecone</Kurs>Übungsanweisungen
- Wandelt die Eingabe „
iterable“ in einen Iterator um. - Teile „
it“ mit dem Modul „itertools“ in Stücke der Größe „batch_size“. - Gib den aktuellen Block zurück.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
def chunks(iterable, batch_size=100):
"""A helper function to break an iterable into chunks of size batch_size."""
# Convert the iterable into an iterator
it = ____
# Slice the iterator into chunks of size batch_size
chunk = tuple(itertools.____(it, ____))
while chunk:
# Yield the chunk
____
chunk = tuple(itertools.islice(it, batch_size))