Типи даних

Гарна робота! Перш ніж починати моделювання, важливо знати, що Spark працює лише з числовими даними. Це означає, що всі стовпці у вашому датафреймі мають бути або цілими числами, або десятковими (у Spark вони називаються 'double').

Коли ми імпортували дані, ми дозволили Spark здогадатися, який тип інформації містить кожен стовпець. На жаль, Spark не завжди вгадує правильно, і ви можете бачити, що деякі стовпці в нашому датафреймі — це рядки з цифрами, а не справжні числові значення.

Щоб це виправити, ви можете скористатися методом .cast() разом із методом .withColumn(). Важливо пам'ятати, що .cast() працює зі стовпцями, а .withColumn() — з датафреймами.

Єдиний аргумент, який потрібно передати в .cast(), — це тип значення, яке ви хочете отримати, у вигляді рядка. Наприклад, щоб створити цілі числа, передайте аргумент "integer", а для десяткових чисел використайте "double".

Ви можете помістити виклик .cast() усередину виклику .withColumn(), щоб перезаписати вже наявний стовпець — так само, як ви робили в попередньому розділі!

Які дані потрібні Spark для моделювання?