최적 모델과 최적 모델 하이퍼파라미터

이제 교차 검증기 cv를 구성했으니, Spark에 데이터에 ALS 알고리즘을 적합하고 param_grid에 있는 하이퍼파라미터 조합을 시도해 보라고 지시할 수 있어요. 그러면 가장 작은 RMSE를 주는 값을 찾을 수 있습니다. 아쉽게도 여기서는 실행에 시간이 너무 오래 걸리기 때문에 직접 수행하지는 않지만, 방법은 다음과 같습니다:

# 'train' 데이터셋에 교차 검증기 적합
model = cv.fit(train)

# 위의 cv 모델에서 최적 모델 추출
best_model = model.bestModel

이 코드는 별도로 실행되어 best_model이 식별되고 저장되어 있습니다. 제공된 명령을 사용해 모델의 파라미터를 추출하세요.

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

연습 안내

type(best_model)을 출력해, 하이퍼파라미터 옵션에서 구축된 ALS 모델이 실제로 완성되었는지 확인하세요. 이후의 출력문과 함께 사용하려면 여기서는 print 문이 필요합니다.
best_model에서 .getRank() 메서드를 호출해 rank를 추출하세요.
best_model에서 .getMaxIter() 메서드를 호출해 maxIter를 추출하세요.
best_model에서 .getRegParam() 메서드를 호출해 regParam을 추출하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Print best_model
print(____)

# Complete the code below to extract the ALS model parameters
print("**Best Model**")

# Print "Rank"
print("  Rank:", best_model.get____())

# Print "MaxIter"
print("  MaxIter:", best_model.get____())

# Print "RegParam"
print("  RegParam:", best_model.get____())

코드 편집 및 실행

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

SkillTag.level.advancedSkillTag.label

4.9+

무료로 강의 시작하기

이 장에서는 추천 엔진이 얼마나 강력한지 살펴보고, 협업 필터링 엔진과 콘텐츠 기반 엔진의 중요한 차이점, 그리고 추천 엔진이 사용할 수 있는 암묵적/명시적 데이터의 유형을 소개합니다. 또한 고객 데이터셋에 존재하는지조차 몰랐던 숨은 특징(잠재 특징)을 찾아내는 매우 강력한 방법도 배우게 됩니다.

Exercise 1: 추천 시스템을 직접 만드는 법을 왜 배워야 할까요?Exercise 2: 추천 엔진의 위력을 확인해 봅시다 Exercise 3: 추천 엔진의 힘 Exercise 4: 추천 엔진의 유형과 데이터 유형 Exercise 5: 협업 필터링 vs 콘텐츠 기반 필터링 Exercise 6: 협업 필터링 vs 콘텐츠 기반 필터링 II Exercise 7: Implicit vs explicit data Exercise 8: 평점 데이터 타입 Exercise 9: 추천 시스템의 활용 Exercise 10: 추천 엔진의 다른 활용 사례.Exercise 11: 잠재 특성에 대한 이해 확인

이 장에서는 행렬 곱셈과 행렬 분해의 기본 개념을 복습하고, Alternating Least Squares 알고리즘이 어떻게 작동하는지, 최적의 추천을 반환하기 위해 어떤 인자와 하이퍼파라미터를 사용하는지 깊이 있게 알아봅니다. 또한 Spark에서 ALS를 위해 데이터를 올바르게 준비하는 데 필요한 중요한 기법도 학습합니다.

Exercise 1: 행렬 곱셈 개요 Exercise 2: 행렬 곱셈 Exercise 3: 행렬 곱셈 II Exercise 4: 행렬 분해 개요 Exercise 5: 행렬 분해 Exercise 6: Non-negative matrix factorization Exercise 7: ALS가 예측을 생성하는 방식: 교대 최적화의 작동 원리 Exercise 8: 추천 예측하기 Exercise 9: ALS 반복에 따른 RMSE Exercise 10: Spark ALS를 위한 데이터 준비 Exercise 11: 형식 정리와 고유 사용자 Exercise 12: 영화에 정수 ID 할당하기 Exercise 13: ALS 파라미터와 하이퍼파라미터 Exercise 14: ALS 모델 구축하기 Exercise 15: RMSE 평가기 만들기 Exercise 16: RMSE 계산하기

이 장에서는 MovieLens 데이터셋을 소개합니다. 해당 데이터셋이 ALS에 적합한지 평가하는 방법을 살펴보고, 교차 검증을 갖춘 전체 ALS 모델을 구축한 뒤, 그 성능을 평가하는 방법을 배웁니다. 이는 이후 PySpark로 구축할 모든 ALS 모델의 기반이 됩니다.

Exercise 1: MovieLens 데이터셋 소개 Exercise 2: MovieLens 데이터 살펴보기 Exercise 3: 희소성 계산하기 Exercise 4: GroupBy와 Filter 메서드 Exercise 5: MovieLens 요약 통계 Exercise 6: 스키마 확인 Exercise 7: MovieLens 데이터에서 ALS 모델 구축 Exercise 8: 테스트/훈련 데이터 분할 후 ALS 모델 만들기 Exercise 9: ALS 모델 튜닝 방법을 Spark에 알려 주세요 Exercise 10: 교차 검증 파이프라인 구축하기 Exercise 11: 최적 모델과 최적 모델 하이퍼파라미터

현재 연습

Exercise 12: 모델 성능 평가 Exercise 13: 예측 생성 및 RMSE 계산 Exercise 14: RMSE 해석하기 Exercise 15: 추천이 타당해 보이나요

대부분의 실제 상황에서는 ALS 모델을 구축하는 데 필요한 "완벽한" 고객 데이터를 갖추지 못하는 경우가 많습니다. 이 장에서는 고객 행동 데이터를 활용해 고객 평점을 "추론"하고, 그 추론된 평점을 사용해 ALS 추천 엔진을 만드는 방법을 배웁니다. Million Songs 데이터셋과 또 다른 버전의 MovieLens 데이터셋을 사용하여, 가용한 데이터를 바탕으로 ALS로 추천 엔진을 구축하고 그 성능을 평가하는 방법을 보여드립니다.

Exercise 1: Million Songs Dataset 소개 Exercise 2: 암묵적 평점 개념 이해 확인 Exercise 3: MSD 요약 통계 Exercise 4: 그룹화 요약 통계 Exercise 5: 0 채워 넣기 Exercise 6: 묵시적 평점 모델 평가하기 Exercise 7: ALS 하이퍼파라미터 지정하기 Exercise 8: 암시적 모델 빌드하기 Exercise 9: 교차 검증을 적용한 암시적 ALS 모델 실행하기 Exercise 10: 하이퍼파라미터 추출 Exercise 11: 이진, 암묵적 평점 개요 Exercise 12: 이진 모델 성능 Exercise 13: 이진 데이터로부터의 추천 Exercise 14: 강의 정리