1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Deep Learning for Text with PyTorch
Connected

cvičení

Analýza frekvence slov

Gratulujeme! Právě ses přidal/a do PyBooks. PyBooks vyvíjí systém doporučování knih a chce v textech nacházet vzory a trendy, které pomohou zlepšit doporučení.

Na začátek budeš chtít zjistit, jak často se jednotlivá slova v daném textu vyskytují, a odstranit ta vzácná.

Měj na paměti, že skutečné datasety bývají obvykle větší než tento příklad.

Pokyny

100 XP
  • Importuj get_tokenizer z torchtext a FreqDist z knihovny nltk.
  • Inicializuj tokenizér pro angličtinu a tokenizuj zadaný text.
  • Vypočítej frekvenční distribuci tokens a pomocí list comprehension odstraň vzácná slova.