Descoperă puterea unui motor de recomandare

Taylor și Jane sunt amândouă pasionate de filme. Taylor preferă exclusiv drame, comedii și filme romantice. Jane este atrasă de acțiune, aventură și filme pline de adrenalină. Unul dintre cele mai mari avantaje ale motoarelor de recomandare bazate pe ALS este că pot identifica filme sau produse care vor plăcea utilizatorilor, chiar și atunci când aceștia cred că nu le-ar plăcea. Aruncă o privire asupra evaluărilor oferite de Taylor și Jane mai jos. Ar fi de așteptat ca preferințele lor diferite să genereze recomandări diferite.

Acest curs atinge multe concepte pe care poate le-ai mai uitat, așa că, dacă ai nevoie de o recapitulare rapidă, descarcă PySpark Cheat Sheet și păstrează-l la îndemână!

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

Instrucțiuni pentru exercițiu

Explorează TJ_ratings folosind metoda .show() și orice alte metode preferi, pentru a vedea cum a evaluat fiecare dintre ele filmele pe care le-au vizionat.
Introdu numele utilizatoarelor în funcția get_ALS_recs() furnizată, pentru a vedea ce filme recomandă ALS pentru Jane și Taylor pe baza evaluărilor oferite. Recomandările ți se par logice?

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# View TJ_ratings
TJ_ratings.show()

# Generate recommendations for users
get_ALS_recs(["____","____"])

Editează și rulează codul

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Acest capitol îți va arăta cât de puternice pot fi motoarele de recomandare și va face distincții importante între motoarele bazate pe filtrare colaborativă și cele bazate pe conținut, precum și între tipurile de date implicite și explicite pe care le pot folosi. Vei învăța, de asemenea, o metodă eficientă de a descoperi caracteristici ascunse (caracteristici latente) care pot să nu fie evidente în seturile de date despre clienți.

Exercise 1: De ce să înveți să construiești motoare de recomandare?Exercise 2: Descoperă puterea unui motor de recomandare

Exercițiul curent

Exercise 3: Puterea motoarelor de recomandare Exercise 4: Tipuri de motoare de recomandare și tipuri de date Exercise 5: Filtrare colaborativă vs. filtrare bazată pe conținut Exercise 6: Filtrare colaborativă vs. filtrare bazată pe conținut – partea a II-a Exercise 7: Date implicite vs. explicite Exercise 8: Tipurile de date pentru evaluări Exercise 9: Utilizări ale motoarelor de recomandare Exercise 10: Alte utilizări ale motoarelor de recomandare.Exercise 11: Confirmă înțelegerea caracteristicilor latente

În acest capitol vei recapitula conceptele de bază ale înmulțirii și factorizării matricelor, vei aprofunda modul în care funcționează algoritmul Alternating Least Squares și ce argumente și hiperparametri folosește pentru a returna cele mai bune recomandări posibile. Vei învăța, de asemenea, tehnici importante pentru pregătirea corectă a datelor în vederea utilizării ALS în Spark.

Exercise 1: Prezentare generală a înmulțirii matricelor Exercise 2: Înmulțirea matricelor Exercise 3: Înmulțirea matricelor – partea a II-a Exercise 4: Prezentare generală a factorizării matricelor Exercise 5: Factorizarea matricelor Exercise 6: Factorizarea non-negativă a matricelor Exercise 7: Cum alternează ALS pentru a genera predicții Exercise 8: Estimarea recomandărilor Exercise 9: RMSE pe măsură ce ALS alternează Exercise 10: Pregătirea datelor pentru Spark ALS Exercise 11: Format corect și utilizatori distincți Exercise 12: Atribuirea de ID-uri întregi filmelor Exercise 13: Parametrii și hiperparametrii ALS Exercise 14: Construiește un model ALS Exercise 15: Construiește evaluatorul RMSE Exercise 16: Calculează RMSE

În acest capitol vei face cunoștință cu setul de date MovieLens. Vei parcurge pașii necesari pentru a evalua compatibilitatea acestuia cu ALS, vei construi un model ALS complet, cu validare încrucișată, și vei învăța cum să îi evaluezi performanța. Aceasta va fi baza pentru toate modelele ALS pe care le vei construi ulterior cu PySpark.

Exercise 1: Introducere în setul de date MovieLens Exercise 2: Explorarea datelor MovieLens Exercise 3: Calculează densitatea datelor Exercise 4: Metodele GroupBy și Filter Exercise 5: Statistici sumare MovieLens Exercise 6: Vizualizarea schemei Exercise 7: Construirea modelului ALS pe datele MovieLens Exercise 8: Creează împărțirile de antrenament/testare și construiește modelul ALS Exercise 9: Spune-i lui Spark cum să regleze modelul tău ALS Exercise 10: Construiește pipeline-ul de validare încrucișată Exercise 11: Cel Mai Bun Model și Parametrii Săi Exercise 12: Evaluarea performanței modelului Exercise 13: Generează predicții și calculează RMSE Exercise 14: Interpretarea RMSE Exercise 15: Recomandările au sens?

În cele mai multe situații reale, nu vei dispune de date „perfecte" despre clienți pentru a construi un model ALS. Acest capitol te va învăța cum să folosești datele despre comportamentul clienților pentru a „deduce" evaluările acestora și cum să utilizezi aceste evaluări deduse pentru a construi un motor de recomandare ALS. Folosind setul de date Million Songs și o altă versiune a setului de date MovieLens, acest capitol îți va arăta cum să valorifici datele disponibile pentru a construi un motor de recomandare cu ALS și a îi evalua performanța.

Exercise 1: Introducere în setul de date Million Songs Exercise 2: Verifică înțelegerea conceptelor de rating implicit Exercise 3: Statistici sumare pentru MSD Exercise 4: Statistici sumare grupate Exercise 5: Adaugă zerouri Exercise 6: Evaluarea modelelor cu ratinguri implicite Exercise 7: Specifică hiperparametrii ALS Exercise 8: Construiește modele implicite Exercise 9: Rularea unui model ALS implicit cu validare încrucișată Exercise 10: Extragerea parametrilor Exercise 11: Prezentare generală a ratingurilor binare și implicite Exercise 12: Performanța modelului binar Exercise 13: Recomandări din date binare Exercise 14: Recapitularea cursului