ćwiczenie

Wnioskowanie schematu i filtrowanie

Wyobraź sobie, że masz zbiór danych ze spisu ludności – wiesz, że zawiera nagłówek i schemat. Załadujmy ten zbiór i pozwólmy PySpark samodzielnie wywnioskować schemat. Co zobaczysz po przefiltrowaniu dorosłych powyżej 40. roku życia?

Pamiętaj, że w twoim środowisku pracy jest już dostępna sesja SparkSession o nazwie spark!

Instrukcje

100 XP

Załaduj plik JSON adults.json.
Przefiltruj dane, aby uwzględnić dorosłych powyżej 40. roku życia (kolumna age).
Wyświetl wyniki.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}ćwiczenie

Instrukcje

ćwiczenie