추천 엔진의 위력을 확인해 봅시다

Taylor와 Jane은 모두 영화를 좋아해요. Taylor는 드라마, 코미디, 로맨스만 좋아하고, Jane은 액션, 어드벤처처럼 박진감 있는 영화만 좋아해요. ALS 기반 추천 엔진의 큰 장점 중 하나는, 사용자가 스스로는 좋아하지 않을 거라 생각하는 영화나 아이템이라도 실제로는 좋아할 만한 것을 찾아준다는 점이에요. 아래에 Taylor와 Jane이 매긴 영화 평점을 살펴보세요. 취향이 다르니 추천 결과도 당연히 다를 것이라고 생각할 수 있겠죠.

이 강의에서는 예전에 배웠지만 잊었을 수 있는 개념이 많이 나와요. 빠르게 복습이 필요할 때는 PySpark Cheat Sheet를 내려받아 옆에 두고 활용하세요!

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

연습 안내

.show() 메서드와 필요한 다른 메서드를 사용해 TJ_ratings를 살펴보고 두 사람이 각 영화를 어떻게 평가했는지 확인하세요.
제공된 get_ALS_recs() 함수에 사용자 이름을 입력해, 주어진 평점을 바탕으로 ALS가 Jane과 Taylor에게 어떤 영화를 추천하는지 확인하세요. 추천 결과가 여러분에게도 타당해 보이나요?

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# View TJ_ratings
TJ_ratings.show()

# Generate recommendations for users
get_ALS_recs(["____","____"])

코드 편집 및 실행

이 연습은 강의의 일부입니다

PySpark로 추천 엔진 만들기

SkillTag.level.advancedSkillTag.label

4.9+

무료로 강의 시작하기

이 장에서는 추천 엔진이 얼마나 강력한지 살펴보고, 협업 필터링 엔진과 콘텐츠 기반 엔진의 중요한 차이점, 그리고 추천 엔진이 사용할 수 있는 암묵적/명시적 데이터의 유형을 소개합니다. 또한 고객 데이터셋에 존재하는지조차 몰랐던 숨은 특징(잠재 특징)을 찾아내는 매우 강력한 방법도 배우게 됩니다.

Exercise 1: 추천 시스템을 직접 만드는 법을 왜 배워야 할까요?Exercise 2: 추천 엔진의 위력을 확인해 봅시다

현재 연습

Exercise 3: 추천 엔진의 힘 Exercise 4: 추천 엔진의 유형과 데이터 유형 Exercise 5: 협업 필터링 vs 콘텐츠 기반 필터링 Exercise 6: 협업 필터링 vs 콘텐츠 기반 필터링 II Exercise 7: Implicit vs explicit data Exercise 8: 평점 데이터 타입 Exercise 9: 추천 시스템의 활용 Exercise 10: 추천 엔진의 다른 활용 사례.Exercise 11: 잠재 특성에 대한 이해 확인

이 장에서는 행렬 곱셈과 행렬 분해의 기본 개념을 복습하고, Alternating Least Squares 알고리즘이 어떻게 작동하는지, 최적의 추천을 반환하기 위해 어떤 인자와 하이퍼파라미터를 사용하는지 깊이 있게 알아봅니다. 또한 Spark에서 ALS를 위해 데이터를 올바르게 준비하는 데 필요한 중요한 기법도 학습합니다.

Exercise 1: 행렬 곱셈 개요 Exercise 2: 행렬 곱셈 Exercise 3: 행렬 곱셈 II Exercise 4: 행렬 분해 개요 Exercise 5: 행렬 분해 Exercise 6: Non-negative matrix factorization Exercise 7: ALS가 예측을 생성하는 방식: 교대 최적화의 작동 원리 Exercise 8: 추천 예측하기 Exercise 9: ALS 반복에 따른 RMSE Exercise 10: Spark ALS를 위한 데이터 준비 Exercise 11: 형식 정리와 고유 사용자 Exercise 12: 영화에 정수 ID 할당하기 Exercise 13: ALS 파라미터와 하이퍼파라미터 Exercise 14: ALS 모델 구축하기 Exercise 15: RMSE 평가기 만들기 Exercise 16: RMSE 계산하기

이 장에서는 MovieLens 데이터셋을 소개합니다. 해당 데이터셋이 ALS에 적합한지 평가하는 방법을 살펴보고, 교차 검증을 갖춘 전체 ALS 모델을 구축한 뒤, 그 성능을 평가하는 방법을 배웁니다. 이는 이후 PySpark로 구축할 모든 ALS 모델의 기반이 됩니다.

Exercise 1: MovieLens 데이터셋 소개 Exercise 2: MovieLens 데이터 살펴보기 Exercise 3: 희소성 계산하기 Exercise 4: GroupBy와 Filter 메서드 Exercise 5: MovieLens 요약 통계 Exercise 6: 스키마 확인 Exercise 7: MovieLens 데이터에서 ALS 모델 구축 Exercise 8: 테스트/훈련 데이터 분할 후 ALS 모델 만들기 Exercise 9: ALS 모델 튜닝 방법을 Spark에 알려 주세요 Exercise 10: 교차 검증 파이프라인 구축하기 Exercise 11: 최적 모델과 최적 모델 하이퍼파라미터 Exercise 12: 모델 성능 평가 Exercise 13: 예측 생성 및 RMSE 계산 Exercise 14: RMSE 해석하기 Exercise 15: 추천이 타당해 보이나요

대부분의 실제 상황에서는 ALS 모델을 구축하는 데 필요한 "완벽한" 고객 데이터를 갖추지 못하는 경우가 많습니다. 이 장에서는 고객 행동 데이터를 활용해 고객 평점을 "추론"하고, 그 추론된 평점을 사용해 ALS 추천 엔진을 만드는 방법을 배웁니다. Million Songs 데이터셋과 또 다른 버전의 MovieLens 데이터셋을 사용하여, 가용한 데이터를 바탕으로 ALS로 추천 엔진을 구축하고 그 성능을 평가하는 방법을 보여드립니다.

Exercise 1: Million Songs Dataset 소개 Exercise 2: 암묵적 평점 개념 이해 확인 Exercise 3: MSD 요약 통계 Exercise 4: 그룹화 요약 통계 Exercise 5: 0 채워 넣기 Exercise 6: 묵시적 평점 모델 평가하기 Exercise 7: ALS 하이퍼파라미터 지정하기 Exercise 8: 암시적 모델 빌드하기 Exercise 9: 교차 검증을 적용한 암시적 ALS 모델 실행하기 Exercise 10: 하이퍼파라미터 추출 Exercise 11: 이진, 암묵적 평점 개요 Exercise 12: 이진 모델 성능 Exercise 13: 이진 데이터로부터의 추천 Exercise 14: 강의 정리