Definování funkce pro rozdělení dat na části
Aby bylo možné dávkové upserty opakovaně provádět, budeš muset definovat funkci, která rozdělí seznam vektorů na menší části.
Vestavěný modul itertools je už naimportovaný.
Toto cvičení je součástí kurzu
Tvorba AI aplikací s Pinecone
Pokyny k cvičení
- Převeď vstup
iterablena iterátor. - Rozděl
itna části o velikostibatch_sizepomocí moduluitertools. - Vrať aktuální část pomocí
yield.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
def chunks(iterable, batch_size=100):
"""A helper function to break an iterable into chunks of size batch_size."""
# Convert the iterable into an iterator
it = ____
# Slice the iterator into chunks of size batch_size
chunk = tuple(itertools.____(it, ____))
while chunk:
# Yield the chunk
____
chunk = tuple(itertools.islice(it, batch_size))