암시적 모델 빌드하기

이제 모든 하이퍼파라미터 값을 지정했으니, 각 조합을 테스트할 수 있을 만큼 충분한 모델을 Spark에게 만들게 해 보겠습니다. 이를 돕기 위해 for 루프가 제공되어 있어요. 아래 지침을 따라 이 ALS 모델들을 자동으로 생성하세요. 다음 연습 문제에서 이 모델들을 테스트 데이터셋에 적용해 어떤 모델이 가장 성능이 좋은지 확인합니다.

ALS 알고리즘은 이미 임포트되어 있습니다. 이전 연습 문제에서 만든 리스트들(ranks, maxIters, regParams, alphas)도 준비되어 있어요.

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

연습 안내

model_list라는 빈 리스트가 제공됩니다. for 루프는 전달받은 하이퍼파라미터의 각 조합마다 모델을 생성해 model_list에 넣습니다.
for 루프를 완성해 각 리스트의 내용을 참조하세요. 여기서 r은 ranks 리스트의 요소, mi는 maxIters 리스트의 요소, rp는 regParams 리스트의 요소, a는 alphas 리스트의 요소를 의미합니다.
각 모델이 생성되었는지 확인하기 위해 len(model_list)와 model_list를 출력하세요. 길이는 위의 각 하이퍼파라미터 리스트 길이들의 곱과 같아야 합니다. 제공된 추가 검증을 실행해 확인해도 좋아요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# For loop will automatically create and store ALS models
for r in ____:
    for mi in ____:
        for rp in ____:
            for a in ____:
                model_list.append(ALS(userCol= "userId", itemCol= "songId", ratingCol= "num_plays", rank = r, maxIter = mi, regParam = rp, alpha = a, coldStartStrategy="drop", nonnegative = True, implicitPrefs = True))

# Print the model list, and the length of model_list
print (model_list, "Length of model_list: ", len(____))

# Validate
len(model_list) == (len(ranks)*len(maxIters)*len(regParams)*len(alphas))

코드 편집 및 실행

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

SkillTag.level.advancedSkillTag.label

4.9+

무료로 강의 시작하기

이 장에서는 추천 엔진이 얼마나 강력한지 살펴보고, 협업 필터링 엔진과 콘텐츠 기반 엔진의 중요한 차이점, 그리고 추천 엔진이 사용할 수 있는 암묵적/명시적 데이터의 유형을 소개합니다. 또한 고객 데이터셋에 존재하는지조차 몰랐던 숨은 특징(잠재 특징)을 찾아내는 매우 강력한 방법도 배우게 됩니다.

Exercise 1: 추천 시스템을 직접 만드는 법을 왜 배워야 할까요?Exercise 2: 추천 엔진의 위력을 확인해 봅시다 Exercise 3: 추천 엔진의 힘 Exercise 4: 추천 엔진의 유형과 데이터 유형 Exercise 5: 협업 필터링 vs 콘텐츠 기반 필터링 Exercise 6: 협업 필터링 vs 콘텐츠 기반 필터링 II Exercise 7: Implicit vs explicit data Exercise 8: 평점 데이터 타입 Exercise 9: 추천 시스템의 활용 Exercise 10: 추천 엔진의 다른 활용 사례.Exercise 11: 잠재 특성에 대한 이해 확인

이 장에서는 행렬 곱셈과 행렬 분해의 기본 개념을 복습하고, Alternating Least Squares 알고리즘이 어떻게 작동하는지, 최적의 추천을 반환하기 위해 어떤 인자와 하이퍼파라미터를 사용하는지 깊이 있게 알아봅니다. 또한 Spark에서 ALS를 위해 데이터를 올바르게 준비하는 데 필요한 중요한 기법도 학습합니다.

Exercise 1: 행렬 곱셈 개요 Exercise 2: 행렬 곱셈 Exercise 3: 행렬 곱셈 II Exercise 4: 행렬 분해 개요 Exercise 5: 행렬 분해 Exercise 6: Non-negative matrix factorization Exercise 7: ALS가 예측을 생성하는 방식: 교대 최적화의 작동 원리 Exercise 8: 추천 예측하기 Exercise 9: ALS 반복에 따른 RMSE Exercise 10: Spark ALS를 위한 데이터 준비 Exercise 11: 형식 정리와 고유 사용자 Exercise 12: 영화에 정수 ID 할당하기 Exercise 13: ALS 파라미터와 하이퍼파라미터 Exercise 14: ALS 모델 구축하기 Exercise 15: RMSE 평가기 만들기 Exercise 16: RMSE 계산하기

이 장에서는 MovieLens 데이터셋을 소개합니다. 해당 데이터셋이 ALS에 적합한지 평가하는 방법을 살펴보고, 교차 검증을 갖춘 전체 ALS 모델을 구축한 뒤, 그 성능을 평가하는 방법을 배웁니다. 이는 이후 PySpark로 구축할 모든 ALS 모델의 기반이 됩니다.

Exercise 1: MovieLens 데이터셋 소개 Exercise 2: MovieLens 데이터 살펴보기 Exercise 3: 희소성 계산하기 Exercise 4: GroupBy와 Filter 메서드 Exercise 5: MovieLens 요약 통계 Exercise 6: 스키마 확인 Exercise 7: MovieLens 데이터에서 ALS 모델 구축 Exercise 8: 테스트/훈련 데이터 분할 후 ALS 모델 만들기 Exercise 9: ALS 모델 튜닝 방법을 Spark에 알려 주세요 Exercise 10: 교차 검증 파이프라인 구축하기 Exercise 11: 최적 모델과 최적 모델 하이퍼파라미터 Exercise 12: 모델 성능 평가 Exercise 13: 예측 생성 및 RMSE 계산 Exercise 14: RMSE 해석하기 Exercise 15: 추천이 타당해 보이나요

대부분의 실제 상황에서는 ALS 모델을 구축하는 데 필요한 "완벽한" 고객 데이터를 갖추지 못하는 경우가 많습니다. 이 장에서는 고객 행동 데이터를 활용해 고객 평점을 "추론"하고, 그 추론된 평점을 사용해 ALS 추천 엔진을 만드는 방법을 배웁니다. Million Songs 데이터셋과 또 다른 버전의 MovieLens 데이터셋을 사용하여, 가용한 데이터를 바탕으로 ALS로 추천 엔진을 구축하고 그 성능을 평가하는 방법을 보여드립니다.

Exercise 1: Million Songs Dataset 소개 Exercise 2: 암묵적 평점 개념 이해 확인 Exercise 3: MSD 요약 통계 Exercise 4: 그룹화 요약 통계 Exercise 5: 0 채워 넣기 Exercise 6: 묵시적 평점 모델 평가하기 Exercise 7: ALS 하이퍼파라미터 지정하기 Exercise 8: 암시적 모델 빌드하기

현재 연습

Exercise 9: 교차 검증을 적용한 암시적 ALS 모델 실행하기 Exercise 10: 하이퍼파라미터 추출 Exercise 11: 이진, 암묵적 평점 개요 Exercise 12: 이진 모델 성능 Exercise 13: 이진 데이터로부터의 추천 Exercise 14: 강의 정리