데이터 타입

잘하셨어요! 모델링을 시작하기 전에 알아둘 점은 Spark는 숫자 데이터만 처리한다는 거예요. 즉, DataFrame의 모든 열은 정수 또는 소수( Spark에서는 'double'이라고 부릅니다)여야 해요.

데이터를 가져올 때 각 열에 어떤 정보가 들어 있는지 Spark가 추론하도록 했어요. 하지만 Spark의 추론이 항상 정확한 것은 아니어서, 실제 숫자형이 아니라 숫자를 담은 문자열인 열이 일부 보일 수 있어요.

이를 해결하려면 .withColumn() 메서드와 함께 .cast() 메서드를 사용하면 돼요. 중요한 점은 .cast()는 열에 적용되고, .withColumn()은 DataFrame에 적용된다는 거예요.

.cast()에 전달해야 하는 유일한 인자는 만들고자 하는 값의 종류이며, 문자열 형태로 넘겨요. 예를 들어 정수를 만들려면 인자에 "integer"를, 소수는 "double"을 사용해요.

이전에 했던 것처럼 .withColumn() 호출 안에 .cast()를 넣어 기존 열을 덮어쓸 수 있어요!

Spark가 모델링에 필요로 하는 데이터 타입은 무엇인가요?