Filtrování obsahu sloupců v Pythonu

Vyzkoušel/a sis různé operace se sloupci DataFramu – teď je čas pracovat s reálnými daty. DataFrame voter_df obsahuje informace o voličích v Radě města Dallas za posledních několik let. Tento zkrácený DataFrame zahrnuje datum hlasování a jméno a pozici voliče. Tvůj manažer tě požádal, abys tato data vyčistil/a, aby je bylo možné později zapojit do požadovaných reportů. Hlavním úkolem je odstranit prázdné záznamy nebo neobvyklé znaky a vrátit konkrétní skupinu voličů, u kterých lze ověřit jejich informace.

Toto je často jeden z prvních kroků při čištění dat – odstranění všeho, co zjevně neodpovídá očekávanému formátu. U tohoto datasetu se podívej na původní data a zjisti, co v sloupci VOTER_NAME vypadá podezřele.

Knihovna pyspark.sql.functions je už naimportovaná pod aliasem F.

Zobraz unikátní záznamy ve sloupci VOTER_NAME.
Vyfiltruj z voter_df záznamy, kde má VOTER_NAME délku 1–20 znaků.
Odfiltruj z voter_df záznamy, kde VOTER_NAME obsahuje znak _.
Zobraz unikátní záznamy ve sloupci VOTER_NAME znovu.

cvičení

Filtrování obsahu sloupců v Pythonu

Pokyny

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení