1. Apprendre
    2. /
  2. Cours
    3. /
  3. R에서 sparklyr로 시작하는 Spark
Connected

Exercice

Gradient boosted trees: prediction

모델을 학습했다면, 다음 단계는 예측을 만드는 일입니다. 기본 R에서는 예측에 predict() 함수를 사용하지만, sparklyr는 ml_predict() 함수를 사용해요. ml_predict()는 두 가지 인수를 받습니다: 모델과 테스트 데이터입니다.

ml_predict(a_model, testing_data)

일반적인 활용은 예측 값과 실제 값을 비교하여 R에서 시각화하는 것입니다. 이를 위한 데이터 준비 코드 패턴은 아래와 같아요. 현재는 예측 열을 추가하려면 로컬에서 처리해야 하므로, 먼저 결과를 collect해야 한다는 점에 유의하세요.

predicted_vs_actual <- testing_data %>%
  select(actual) %>%
  collect() %>%
  mutate(predicted)

Instructions

100 XP

spark_conn으로 Spark 연결이 생성되어 있어요. Spark에 저장된 학습용 및 테스트용 데이터셋에 연결된 tibble은 각각 track_data_to_model_tbl, track_data_to_predict_tbl로 미리 정의되어 있습니다. Gradient boosted trees 모델은 gradient_boosted_trees_model로 미리 정의되어 있어요.

  • 테스트 데이터에 대한 모델의 예측을 담는 변수 predicted를 정의하세요.
    • 모델과 테스트 데이터를 인수로 하여 ml_predict()를 호출하세요. 이 함수는 테스트 데이터셋에 대한 예측을 생성하고, 이를 prediction이라는 새 열로 추가합니다.
    • pull()을 사용해 이 열을 추출하여 predicted에 할당하세요.
  • 예측 값과 실제 값을 비교할 수 있도록 데이터를 준비하기 위해 변수 responses를 정의하세요:
    • 반응 변수 열 year를 선택하세요.
    • 결과를 collect하세요.
    • mutate()로 predicted에 있는 예측 값을 추가하세요.