Kiểu dữ liệu

Làm tốt lắm! Trước khi bắt đầu xây dựng mô hình, điều quan trọng là bạn cần biết Spark chỉ xử lý dữ liệu dạng số. Nghĩa là tất cả các cột trong DataFrame của bạn phải là số nguyên (integer) hoặc số thập phân (trong Spark gọi là "double").

Khi nhập dữ liệu, chúng ta để Spark tự đoán kiểu thông tin mà mỗi cột chứa. Đáng tiếc là Spark không phải lúc nào cũng đoán đúng và bạn có thể thấy một số cột trong DataFrame là chuỗi ký tự chứa số thay vì giá trị số thực sự.

Để khắc phục, bạn có thể dùng phương thức .cast() kết hợp với .withColumn(). Lưu ý: .cast() áp dụng cho cột, còn .withColumn() áp dụng cho DataFrame.

Tham số duy nhất bạn cần truyền vào .cast() là kiểu giá trị muốn tạo, ở dạng chuỗi. Ví dụ, để tạo số nguyên, bạn truyền đối số "integer" và cho số thập phân bạn dùng "double".

Bạn có thể đặt lời gọi .cast() này bên trong lời gọi .withColumn() để ghi đè lên cột hiện có, giống như bạn đã làm ở chương trước!

Spark cần kiểu dữ liệu nào để phục vụ việc modeling?