ПочатиПочніть безкоштовно

Об'єднання (join)

Ще одна дуже поширена операція з даними — це об'єднання (join). Об'єднання — окрема велика тема, тож у цьому курсі ми розглянемо лише прості випадки. Якщо хочете дізнатися більше про об'єднання, перегляньте це.

Об'єднання поєднує дві різні таблиці за спільним стовпцем. Такий стовпець називають ключем. Приклади ключів тут — це стовпці tailnum і carrier з таблиці flights.

Наприклад, припустімо, що ви хочете дізнатися про літак, який виконав рейс, більше, ніж просто його бортовий номер. Цієї інформації немає в таблиці flights, адже той самий літак виконує багато різних рейсів упродовж двох років, тож включення цієї інформації в кожен рядок призвело б до значних повторів. Щоб цього уникнути, варто мати другу таблицю, у якій по одному рядку на кожен літак, а в стовпцях — уся інформація про літак, включно з його бортовим номером. Цю таблицю можна назвати planes.

Коли ви об'єднуєте таблицю flights із цією таблицею інформації про літаки, ви додаєте всі стовпці з planes до flights. Щоб заповнити ці стовпці, ви берете бортовий номер із таблиці flights, знаходите відповідний у таблиці planes і використовуєте той рядок, щоб заповнити всі нові стовпці.

У підсумку ви отримаєте значно більшу таблицю, зате кожен рядок міститиме всю інформацію про літак, який виконав цей рейс!

Яке з наведеного нижче тверджень є неправдивим?

Ця вправа є частиною курсу

Основи PySpark

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу