희소성 계산하기

아시다시피 ALS는 희소한 데이터셋에서 잘 작동해요. ratings 행렬에서 실제로 얼마나 많은 부분이 비어 있는지 확인해 보겠습니다.

희소성(sparsity)은 사용자와 아이템(영화) 수가 주어졌을 때, 해당 행렬이 가질 수 있는 전체 값의 개수 중에서 실제 평점이 들어 있는 셀의 비율로 계산합니다. 다시 말해, 행렬에 존재하는 평점의 개수를 사용자 수와 영화 수의 곱으로 나눈 값을 1에서 빼면, ratings 행렬에서 비어 있는 셀의 비율, 즉 희소성을 얻을 수 있어요.

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

연습 안내

ratings 행렬에 포함된 전체 평점 수를 세어 희소성 지표의 numerator를 계산하세요.
ratings 행렬에서 distinct() userIds와 distinct() movieIds의 개수를 계산하세요.
사용자 수와 영화 수를 곱해 희소성 지표의 denominator를 계산하세요.
numerator를 denominator로 나눈 뒤 1에서 빼고 100을 곱해 희소성을 계산해 출력하세요. 1.0을 더하는 이유는 희소성이 정수가 아닌 소수로 반환되도록 보장하기 위해서입니다.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Count the total number of ratings in the dataset
numerator = ____.select("____").count()

# Count the number of distinct userIds and distinct movieIds
num_users = ____.select("____").____().count()
num_movies = ____.select("____").____().count()

# Set the denominator equal to the number of users multiplied by the number of movies
denominator = ____ * ____

# Divide the numerator by the denominator
sparsity = (1.0 - (____ *1.0)/____)*100
print("The ratings dataframe is ", "%.2f" % sparsity + "% empty.")

코드 편집 및 실행

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

SkillTag.level.advancedSkillTag.label

4.9+

무료로 강의 시작하기

이 장에서는 추천 엔진이 얼마나 강력한지 살펴보고, 협업 필터링 엔진과 콘텐츠 기반 엔진의 중요한 차이점, 그리고 추천 엔진이 사용할 수 있는 암묵적/명시적 데이터의 유형을 소개합니다. 또한 고객 데이터셋에 존재하는지조차 몰랐던 숨은 특징(잠재 특징)을 찾아내는 매우 강력한 방법도 배우게 됩니다.

Exercise 1: 추천 시스템을 직접 만드는 법을 왜 배워야 할까요?Exercise 2: 추천 엔진의 위력을 확인해 봅시다 Exercise 3: 추천 엔진의 힘 Exercise 4: 추천 엔진의 유형과 데이터 유형 Exercise 5: 협업 필터링 vs 콘텐츠 기반 필터링 Exercise 6: 협업 필터링 vs 콘텐츠 기반 필터링 II Exercise 7: Implicit vs explicit data Exercise 8: 평점 데이터 타입 Exercise 9: 추천 시스템의 활용 Exercise 10: 추천 엔진의 다른 활용 사례.Exercise 11: 잠재 특성에 대한 이해 확인

이 장에서는 행렬 곱셈과 행렬 분해의 기본 개념을 복습하고, Alternating Least Squares 알고리즘이 어떻게 작동하는지, 최적의 추천을 반환하기 위해 어떤 인자와 하이퍼파라미터를 사용하는지 깊이 있게 알아봅니다. 또한 Spark에서 ALS를 위해 데이터를 올바르게 준비하는 데 필요한 중요한 기법도 학습합니다.

Exercise 1: 행렬 곱셈 개요 Exercise 2: 행렬 곱셈 Exercise 3: 행렬 곱셈 II Exercise 4: 행렬 분해 개요 Exercise 5: 행렬 분해 Exercise 6: Non-negative matrix factorization Exercise 7: ALS가 예측을 생성하는 방식: 교대 최적화의 작동 원리 Exercise 8: 추천 예측하기 Exercise 9: ALS 반복에 따른 RMSE Exercise 10: Spark ALS를 위한 데이터 준비 Exercise 11: 형식 정리와 고유 사용자 Exercise 12: 영화에 정수 ID 할당하기 Exercise 13: ALS 파라미터와 하이퍼파라미터 Exercise 14: ALS 모델 구축하기 Exercise 15: RMSE 평가기 만들기 Exercise 16: RMSE 계산하기

이 장에서는 MovieLens 데이터셋을 소개합니다. 해당 데이터셋이 ALS에 적합한지 평가하는 방법을 살펴보고, 교차 검증을 갖춘 전체 ALS 모델을 구축한 뒤, 그 성능을 평가하는 방법을 배웁니다. 이는 이후 PySpark로 구축할 모든 ALS 모델의 기반이 됩니다.

Exercise 1: MovieLens 데이터셋 소개 Exercise 2: MovieLens 데이터 살펴보기 Exercise 3: 희소성 계산하기

현재 연습

Exercise 4: GroupBy와 Filter 메서드 Exercise 5: MovieLens 요약 통계 Exercise 6: 스키마 확인 Exercise 7: MovieLens 데이터에서 ALS 모델 구축 Exercise 8: 테스트/훈련 데이터 분할 후 ALS 모델 만들기 Exercise 9: ALS 모델 튜닝 방법을 Spark에 알려 주세요 Exercise 10: 교차 검증 파이프라인 구축하기 Exercise 11: 최적 모델과 최적 모델 하이퍼파라미터 Exercise 12: 모델 성능 평가 Exercise 13: 예측 생성 및 RMSE 계산 Exercise 14: RMSE 해석하기 Exercise 15: 추천이 타당해 보이나요

대부분의 실제 상황에서는 ALS 모델을 구축하는 데 필요한 "완벽한" 고객 데이터를 갖추지 못하는 경우가 많습니다. 이 장에서는 고객 행동 데이터를 활용해 고객 평점을 "추론"하고, 그 추론된 평점을 사용해 ALS 추천 엔진을 만드는 방법을 배웁니다. Million Songs 데이터셋과 또 다른 버전의 MovieLens 데이터셋을 사용하여, 가용한 데이터를 바탕으로 ALS로 추천 엔진을 구축하고 그 성능을 평가하는 방법을 보여드립니다.

Exercise 1: Million Songs Dataset 소개 Exercise 2: 암묵적 평점 개념 이해 확인 Exercise 3: MSD 요약 통계 Exercise 4: 그룹화 요약 통계 Exercise 5: 0 채워 넣기 Exercise 6: 묵시적 평점 모델 평가하기 Exercise 7: ALS 하이퍼파라미터 지정하기 Exercise 8: 암시적 모델 빌드하기 Exercise 9: 교차 검증을 적용한 암시적 ALS 모델 실행하기 Exercise 10: 하이퍼파라미터 추출 Exercise 11: 이진, 암묵적 평점 개요 Exercise 12: 이진 모델 성능 Exercise 13: 이진 데이터로부터의 추천 Exercise 14: 강의 정리