Vizualizarea schemei

Așa cum ai văzut în capitolele anterioare, implementarea ALS din Spark necesită ca movieId-urile și userId-urile să fie furnizate ca tipuri de date integer. Multe seturi de date trebuie pregătite în consecință pentru a funcționa corect cu Spark. O problemă frecventă este că Spark interpretează numerele ca șiruri de caractere și invers.

În acest exercițiu, vei folosi metoda .cast() pentru a rezolva astfel de probleme. Să examinăm schema setului de date și să ne asigurăm că este în formatul corect.

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

Instrucțiuni pentru exercițiu

Folosește .printSchema() pentru a verifica dacă setul de date de evaluări conține tipurile de date corecte pentru ca ALS să funcționeze. userId-urile și movieId-urile sunt furnizate ca tipuri integer? rating-urile sunt în format numeric?
Asigură-te că coloanele dataframe-ului ratings au tipurile de date corecte. Apelează metoda cast() pe fiecare coloană și specifică tipul "integer" pentru coloanele userID și movieId, respectiv tipul "double" pentru coloana rating. (Coloana timestamp nu ne este necesară, deci o putem ignora.)
Apelează din nou .printSchema() pe ratings pentru a confirma că tipurile de date sunt acum corecte.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Use .printSchema() to see the datatypes of the ratings dataset
ratings.____()

# Tell Spark to convert the columns to the proper data types
ratings = ratings.select(ratings.userId.cast("____"), ratings.movieId.cast("____"), ratings.rating.cast("____"))

# Call .printSchema() again to confirm the columns are now in the correct format
ratings.____()

Editează și rulează codul

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Acest capitol îți va arăta cât de puternice pot fi motoarele de recomandare și va face distincții importante între motoarele bazate pe filtrare colaborativă și cele bazate pe conținut, precum și între tipurile de date implicite și explicite pe care le pot folosi. Vei învăța, de asemenea, o metodă eficientă de a descoperi caracteristici ascunse (caracteristici latente) care pot să nu fie evidente în seturile de date despre clienți.

Exercise 1: De ce să înveți să construiești motoare de recomandare?Exercise 2: Descoperă puterea unui motor de recomandare Exercise 3: Puterea motoarelor de recomandare Exercise 4: Tipuri de motoare de recomandare și tipuri de date Exercise 5: Filtrare colaborativă vs. filtrare bazată pe conținut Exercise 6: Filtrare colaborativă vs. filtrare bazată pe conținut – partea a II-a Exercise 7: Date implicite vs. explicite Exercise 8: Tipurile de date pentru evaluări Exercise 9: Utilizări ale motoarelor de recomandare Exercise 10: Alte utilizări ale motoarelor de recomandare.Exercise 11: Confirmă înțelegerea caracteristicilor latente

În acest capitol vei recapitula conceptele de bază ale înmulțirii și factorizării matricelor, vei aprofunda modul în care funcționează algoritmul Alternating Least Squares și ce argumente și hiperparametri folosește pentru a returna cele mai bune recomandări posibile. Vei învăța, de asemenea, tehnici importante pentru pregătirea corectă a datelor în vederea utilizării ALS în Spark.

Exercise 1: Prezentare generală a înmulțirii matricelor Exercise 2: Înmulțirea matricelor Exercise 3: Înmulțirea matricelor – partea a II-a Exercise 4: Prezentare generală a factorizării matricelor Exercise 5: Factorizarea matricelor Exercise 6: Factorizarea non-negativă a matricelor Exercise 7: Cum alternează ALS pentru a genera predicții Exercise 8: Estimarea recomandărilor Exercise 9: RMSE pe măsură ce ALS alternează Exercise 10: Pregătirea datelor pentru Spark ALS Exercise 11: Format corect și utilizatori distincți Exercise 12: Atribuirea de ID-uri întregi filmelor Exercise 13: Parametrii și hiperparametrii ALS Exercise 14: Construiește un model ALS Exercise 15: Construiește evaluatorul RMSE Exercise 16: Calculează RMSE

În acest capitol vei face cunoștință cu setul de date MovieLens. Vei parcurge pașii necesari pentru a evalua compatibilitatea acestuia cu ALS, vei construi un model ALS complet, cu validare încrucișată, și vei învăța cum să îi evaluezi performanța. Aceasta va fi baza pentru toate modelele ALS pe care le vei construi ulterior cu PySpark.

Exercise 1: Introducere în setul de date MovieLens Exercise 2: Explorarea datelor MovieLens Exercise 3: Calculează densitatea datelor Exercise 4: Metodele GroupBy și Filter Exercise 5: Statistici sumare MovieLens Exercise 6: Vizualizarea schemei

Exercițiul curent

Exercise 7: Construirea modelului ALS pe datele MovieLens Exercise 8: Creează împărțirile de antrenament/testare și construiește modelul ALS Exercise 9: Spune-i lui Spark cum să regleze modelul tău ALS Exercise 10: Construiește pipeline-ul de validare încrucișată Exercise 11: Cel Mai Bun Model și Parametrii Săi Exercise 12: Evaluarea performanței modelului Exercise 13: Generează predicții și calculează RMSE Exercise 14: Interpretarea RMSE Exercise 15: Recomandările au sens?

În cele mai multe situații reale, nu vei dispune de date „perfecte" despre clienți pentru a construi un model ALS. Acest capitol te va învăța cum să folosești datele despre comportamentul clienților pentru a „deduce" evaluările acestora și cum să utilizezi aceste evaluări deduse pentru a construi un motor de recomandare ALS. Folosind setul de date Million Songs și o altă versiune a setului de date MovieLens, acest capitol îți va arăta cum să valorifici datele disponibile pentru a construi un motor de recomandare cu ALS și a îi evalua performanța.

Exercise 1: Introducere în setul de date Million Songs Exercise 2: Verifică înțelegerea conceptelor de rating implicit Exercise 3: Statistici sumare pentru MSD Exercise 4: Statistici sumare grupate Exercise 5: Adaugă zerouri Exercise 6: Evaluarea modelelor cu ratinguri implicite Exercise 7: Specifică hiperparametrii ALS Exercise 8: Construiește modele implicite Exercise 9: Rularea unui model ALS implicit cu validare încrucișată Exercise 10: Extragerea parametrilor Exercise 11: Prezentare generală a ratingurilor binare și implicite Exercise 12: Performanța modelului binar Exercise 13: Recomandări din date binare Exercise 14: Recapitularea cursului