Типы данных

Хорошая работа! Прежде чем приступить к построению моделей, важно знать: Spark работает только с числовыми данными. Это означает, что все столбцы вашего DataFrame должны содержать либо целые числа, либо десятичные числа (в Spark они называются double).

Когда мы импортировали данные, мы позволили Spark самостоятельно определить тип каждого столбца. К сожалению, Spark не всегда делает это правильно: некоторые столбцы DataFrame могут оказаться строками, содержащими числа, а не реальными числовыми значениями.

Чтобы исправить это, используйте метод .cast() в сочетании с методом .withColumn(). Важно помнить: .cast() применяется к столбцам, а .withColumn() — к DataFrame.

Методу .cast() нужно передать один аргумент — тип значения, который вы хотите получить, в виде строки. Например, для создания целых чисел передайте "integer", а для десятичных — "double".

Вызов .cast() можно вложить в вызов .withColumn(), чтобы перезаписать уже существующий столбец — точно так же, как вы делали это в предыдущей главе!

Какой тип данных требует Spark для построения моделей?