RMSE 평가기 만들기

이제 학습 데이터에 모델을 적합하고 테스트 예측을 생성하는 방법을 알았으니, 모델이 얼마나 잘 동작하는지 평가할 방법이 필요해요. 이를 위해 evaluator를 만들어 보겠습니다. Spark의 evaluator는 여러 방식으로 만들 수 있어요. 여기서는 RMSE를 계산하는 regressionEvaluator가 필요합니다. regressionEvaluator를 만든 뒤, 모델을 데이터에 적합하고 예측을 생성해 보겠습니다.

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

연습 안내

pyspark.ml.evaluation 클래스에서 필요한 RegressionEvaluator 패키지를 임포트하세요.
evaluator 코드를 완성해 metric name을 "rmse"로 지정하세요. ratings 데이터에서 평점이 들어 있는 열 이름을 labelCol에 설정하고(열 이름은 ratings.columns 메서드로 확인), 예측 열 이름은 "prediction"으로 설정하세요.
evaluator가 올바르게 생성되었는지 세 가지 파라미터를 각각 추출해 확인하세요. 다음 세 줄을 각각 print 문으로 실행합니다:
- evaluator.getMetricName()
- evaluator.getLabelCol()
- evaluator.getPredictionCol()

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Import RegressionEvaluator
from pyspark.ml.evaluation import ____

# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")

# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())

코드 편집 및 실행

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

SkillTag.level.advancedSkillTag.label

4.9+

무료로 강의 시작하기

이 장에서는 추천 엔진이 얼마나 강력한지 살펴보고, 협업 필터링 엔진과 콘텐츠 기반 엔진의 중요한 차이점, 그리고 추천 엔진이 사용할 수 있는 암묵적/명시적 데이터의 유형을 소개합니다. 또한 고객 데이터셋에 존재하는지조차 몰랐던 숨은 특징(잠재 특징)을 찾아내는 매우 강력한 방법도 배우게 됩니다.

Exercise 1: 추천 시스템을 직접 만드는 법을 왜 배워야 할까요?Exercise 2: 추천 엔진의 위력을 확인해 봅시다 Exercise 3: 추천 엔진의 힘 Exercise 4: 추천 엔진의 유형과 데이터 유형 Exercise 5: 협업 필터링 vs 콘텐츠 기반 필터링 Exercise 6: 협업 필터링 vs 콘텐츠 기반 필터링 II Exercise 7: Implicit vs explicit data Exercise 8: 평점 데이터 타입 Exercise 9: 추천 시스템의 활용 Exercise 10: 추천 엔진의 다른 활용 사례.Exercise 11: 잠재 특성에 대한 이해 확인

이 장에서는 행렬 곱셈과 행렬 분해의 기본 개념을 복습하고, Alternating Least Squares 알고리즘이 어떻게 작동하는지, 최적의 추천을 반환하기 위해 어떤 인자와 하이퍼파라미터를 사용하는지 깊이 있게 알아봅니다. 또한 Spark에서 ALS를 위해 데이터를 올바르게 준비하는 데 필요한 중요한 기법도 학습합니다.

Exercise 1: 행렬 곱셈 개요 Exercise 2: 행렬 곱셈 Exercise 3: 행렬 곱셈 II Exercise 4: 행렬 분해 개요 Exercise 5: 행렬 분해 Exercise 6: Non-negative matrix factorization Exercise 7: ALS가 예측을 생성하는 방식: 교대 최적화의 작동 원리 Exercise 8: 추천 예측하기 Exercise 9: ALS 반복에 따른 RMSE Exercise 10: Spark ALS를 위한 데이터 준비 Exercise 11: 형식 정리와 고유 사용자 Exercise 12: 영화에 정수 ID 할당하기 Exercise 13: ALS 파라미터와 하이퍼파라미터 Exercise 14: ALS 모델 구축하기 Exercise 15: RMSE 평가기 만들기

현재 연습

Exercise 16: RMSE 계산하기

이 장에서는 MovieLens 데이터셋을 소개합니다. 해당 데이터셋이 ALS에 적합한지 평가하는 방법을 살펴보고, 교차 검증을 갖춘 전체 ALS 모델을 구축한 뒤, 그 성능을 평가하는 방법을 배웁니다. 이는 이후 PySpark로 구축할 모든 ALS 모델의 기반이 됩니다.

Exercise 1: MovieLens 데이터셋 소개 Exercise 2: MovieLens 데이터 살펴보기 Exercise 3: 희소성 계산하기 Exercise 4: GroupBy와 Filter 메서드 Exercise 5: MovieLens 요약 통계 Exercise 6: 스키마 확인 Exercise 7: MovieLens 데이터에서 ALS 모델 구축 Exercise 8: 테스트/훈련 데이터 분할 후 ALS 모델 만들기 Exercise 9: ALS 모델 튜닝 방법을 Spark에 알려 주세요 Exercise 10: 교차 검증 파이프라인 구축하기 Exercise 11: 최적 모델과 최적 모델 하이퍼파라미터 Exercise 12: 모델 성능 평가 Exercise 13: 예측 생성 및 RMSE 계산 Exercise 14: RMSE 해석하기 Exercise 15: 추천이 타당해 보이나요

대부분의 실제 상황에서는 ALS 모델을 구축하는 데 필요한 "완벽한" 고객 데이터를 갖추지 못하는 경우가 많습니다. 이 장에서는 고객 행동 데이터를 활용해 고객 평점을 "추론"하고, 그 추론된 평점을 사용해 ALS 추천 엔진을 만드는 방법을 배웁니다. Million Songs 데이터셋과 또 다른 버전의 MovieLens 데이터셋을 사용하여, 가용한 데이터를 바탕으로 ALS로 추천 엔진을 구축하고 그 성능을 평가하는 방법을 보여드립니다.

Exercise 1: Million Songs Dataset 소개 Exercise 2: 암묵적 평점 개념 이해 확인 Exercise 3: MSD 요약 통계 Exercise 4: 그룹화 요약 통계 Exercise 5: 0 채워 넣기 Exercise 6: 묵시적 평점 모델 평가하기 Exercise 7: ALS 하이퍼파라미터 지정하기 Exercise 8: 암시적 모델 빌드하기 Exercise 9: 교차 검증을 적용한 암시적 ALS 모델 실행하기 Exercise 10: 하이퍼파라미터 추출 Exercise 11: 이진, 암묵적 평점 개요 Exercise 12: 이진 모델 성능 Exercise 13: 이진 데이터로부터의 추천 Exercise 14: 강의 정리