TF-IDF ve výchozím nastavení vytváří jeden sloupec pro každé slovo ze všech tvých dokumentů (v našem případě filmových shrnutí). Vznikne tak obrovský a nepřehledný dataset, který bude obsahovat jak velmi časté výrazy vyskytující se v každém dokumentu, tak slova tak vzácná, že pro hledání podobností mezi položkami nemají žádnou hodnotu.

V tomto cvičení budeš pracovat s DataFramem df_plots, který obsahuje názvy filmů ve sloupci Title a jejich zápletky ve sloupci Plot.

Z tohoto DataFramu vygeneruješ výchozí skóre TF-IDF a podíváš se, zda jsou přítomny neužitečné sloupce.

Poté TF-IDF výpočty zopakuješ – tentokrát omezíš počet sloupců pomocí argumentů min_df a max_df a uvidíš, jak se výsledek zlepší.

Podobnosti na základě textu

Create Your Free Account