Об'єднання (join)
Ще одна дуже поширена операція з даними — це об'єднання (join). Об'єднання — окрема велика тема, тож у цьому курсі ми розглянемо лише прості випадки. Якщо хочете дізнатися більше про об'єднання, перегляньте це.
Об'єднання поєднує дві різні таблиці за спільним стовпцем. Такий стовпець називають ключем. Приклади ключів тут — це стовпці tailnum і carrier з таблиці flights.
Наприклад, припустімо, що ви хочете дізнатися про літак, який виконав рейс, більше, ніж просто його бортовий номер. Цієї інформації немає в таблиці flights, адже той самий літак виконує багато різних рейсів упродовж двох років, тож включення цієї інформації в кожен рядок призвело б до значних повторів. Щоб цього уникнути, варто мати другу таблицю, у якій по одному рядку на кожен літак, а в стовпцях — уся інформація про літак, включно з його бортовим номером. Цю таблицю можна назвати planes.
Коли ви об'єднуєте таблицю flights із цією таблицею інформації про літаки, ви додаєте всі стовпці з planes до flights. Щоб заповнити ці стовпці, ви берете бортовий номер із таблиці flights, знаходите відповідний у таблиці planes і використовуєте той рядок, щоб заповнити всі нові стовпці.
У підсумку ви отримаєте значно більшу таблицю, зате кожен рядок міститиме всю інформацію про літак, який виконав цей рейс!
Яке з наведеного нижче тверджень є неправдивим?
Ця вправа є частиною курсу
Основи PySpark
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу