Złączenia
Kolejną bardzo często wykonywaną operacją na danych jest złączenie (ang. join). To obszerny temat sam w sobie, dlatego w tym kursie skupimy się tylko na prostych złączeniach. Jeśli chcesz dowiedzieć się więcej, zajrzyj tutaj.
Złączenie łączy dwie tabele na podstawie wspólnej kolumny, zwanej kluczem. Przykładami kluczy są kolumny tailnum i carrier z tabeli flights.
Wyobraź sobie, że chcesz poznać więcej szczegółów o samolocie, który wykonał dany lot – nie tylko jego numer ogona. Tych informacji nie ma w tabeli flights, bo ten sam samolot wykonuje wiele lotów w ciągu dwóch lat, a umieszczanie tych danych w każdym wierszu prowadziłoby do ogromnej redundancji. Aby tego uniknąć, można skorzystać z drugiej tabeli, w której każdy samolot ma dokładnie jeden wiersz, a kolumny zawierają wszystkie jego dane, w tym numer ogona. Taką tabelę można nazwać planes.
Gdy złączysz tabelę flights z tabelą z informacjami o samolotach, dodasz wszystkie kolumny z tabeli planes do tabeli flights. Aby wypełnić te kolumny danymi, system wyszuka numer ogona z tabeli flights w tabeli planes i użyje odpowiedniego wiersza do uzupełnienia nowych kolumn.
Otrzymasz w ten sposób znacznie większą tabelę, ale każdy jej wiersz będzie zawierał pełne informacje o samolocie, który wykonał dany lot!
Które z poniższych stwierdzeń nie jest prawdziwe?
To ćwiczenie jest częścią kursu
Podstawy PySpark
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie