Construiește evaluatorul RMSE

Acum că știi cum să antrenezi un model pe datele de antrenament și să generezi predicții pe datele de test, ai nevoie de o modalitate de a evalua cât de bine performează modelul. În acest scop, vom construi un evaluator. Evaluatorii în Spark pot fi configurați în diverse moduri. Pentru nevoile noastre, dorim un regressionEvaluator care calculează RMSE. După ce construim regressionEvaluator, putem antrena modelul pe datele noastre și genera predicții.

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

Instrucțiuni pentru exercițiu

Importă pachetul RegressionEvaluator din clasa pyspark.ml.evaluation.
Completează codul pentru evaluator, specificând metric name ca "rmse". Setează labelCol la numele coloanei din setul de date ratings care conține ratingurile (folosește metoda ratings.columns pentru a vedea numele coloanelor) și setează numele coloanei de predicții la "prediction".
Confirmă că evaluator a fost creat corect extragând fiecare dintre cei trei parametri din acesta. Fă acest lucru rulând următoarele 3 linii de cod, fiecare în cadrul unui print:
- evaluator.getMetricName()
- evaluator.getLabelCol()
- evaluator.getPredictionCol()

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import RegressionEvaluator
from pyspark.ml.evaluation import ____

# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")

# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())

Editează și rulează codul

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Acest capitol îți va arăta cât de puternice pot fi motoarele de recomandare și va face distincții importante între motoarele bazate pe filtrare colaborativă și cele bazate pe conținut, precum și între tipurile de date implicite și explicite pe care le pot folosi. Vei învăța, de asemenea, o metodă eficientă de a descoperi caracteristici ascunse (caracteristici latente) care pot să nu fie evidente în seturile de date despre clienți.

Exercise 1: De ce să înveți să construiești motoare de recomandare?Exercise 2: Descoperă puterea unui motor de recomandare Exercise 3: Puterea motoarelor de recomandare Exercise 4: Tipuri de motoare de recomandare și tipuri de date Exercise 5: Filtrare colaborativă vs. filtrare bazată pe conținut Exercise 6: Filtrare colaborativă vs. filtrare bazată pe conținut – partea a II-a Exercise 7: Date implicite vs. explicite Exercise 8: Tipurile de date pentru evaluări Exercise 9: Utilizări ale motoarelor de recomandare Exercise 10: Alte utilizări ale motoarelor de recomandare.Exercise 11: Confirmă înțelegerea caracteristicilor latente

În acest capitol vei recapitula conceptele de bază ale înmulțirii și factorizării matricelor, vei aprofunda modul în care funcționează algoritmul Alternating Least Squares și ce argumente și hiperparametri folosește pentru a returna cele mai bune recomandări posibile. Vei învăța, de asemenea, tehnici importante pentru pregătirea corectă a datelor în vederea utilizării ALS în Spark.

Exercise 1: Prezentare generală a înmulțirii matricelor Exercise 2: Înmulțirea matricelor Exercise 3: Înmulțirea matricelor – partea a II-a Exercise 4: Prezentare generală a factorizării matricelor Exercise 5: Factorizarea matricelor Exercise 6: Factorizarea non-negativă a matricelor Exercise 7: Cum alternează ALS pentru a genera predicții Exercise 8: Estimarea recomandărilor Exercise 9: RMSE pe măsură ce ALS alternează Exercise 10: Pregătirea datelor pentru Spark ALS Exercise 11: Format corect și utilizatori distincți Exercise 12: Atribuirea de ID-uri întregi filmelor Exercise 13: Parametrii și hiperparametrii ALS Exercise 14: Construiește un model ALS Exercise 15: Construiește evaluatorul RMSE

Exercițiul curent

Exercise 16: Calculează RMSE

În acest capitol vei face cunoștință cu setul de date MovieLens. Vei parcurge pașii necesari pentru a evalua compatibilitatea acestuia cu ALS, vei construi un model ALS complet, cu validare încrucișată, și vei învăța cum să îi evaluezi performanța. Aceasta va fi baza pentru toate modelele ALS pe care le vei construi ulterior cu PySpark.

Exercise 1: Introducere în setul de date MovieLens Exercise 2: Explorarea datelor MovieLens Exercise 3: Calculează densitatea datelor Exercise 4: Metodele GroupBy și Filter Exercise 5: Statistici sumare MovieLens Exercise 6: Vizualizarea schemei Exercise 7: Construirea modelului ALS pe datele MovieLens Exercise 8: Creează împărțirile de antrenament/testare și construiește modelul ALS Exercise 9: Spune-i lui Spark cum să regleze modelul tău ALS Exercise 10: Construiește pipeline-ul de validare încrucișată Exercise 11: Cel Mai Bun Model și Parametrii Săi Exercise 12: Evaluarea performanței modelului Exercise 13: Generează predicții și calculează RMSE Exercise 14: Interpretarea RMSE Exercise 15: Recomandările au sens?

În cele mai multe situații reale, nu vei dispune de date „perfecte" despre clienți pentru a construi un model ALS. Acest capitol te va învăța cum să folosești datele despre comportamentul clienților pentru a „deduce" evaluările acestora și cum să utilizezi aceste evaluări deduse pentru a construi un motor de recomandare ALS. Folosind setul de date Million Songs și o altă versiune a setului de date MovieLens, acest capitol îți va arăta cum să valorifici datele disponibile pentru a construi un motor de recomandare cu ALS și a îi evalua performanța.

Exercise 1: Introducere în setul de date Million Songs Exercise 2: Verifică înțelegerea conceptelor de rating implicit Exercise 3: Statistici sumare pentru MSD Exercise 4: Statistici sumare grupate Exercise 5: Adaugă zerouri Exercise 6: Evaluarea modelelor cu ratinguri implicite Exercise 7: Specifică hiperparametrii ALS Exercise 8: Construiește modele implicite Exercise 9: Rularea unui model ALS implicit cu validare încrucișată Exercise 10: Extragerea parametrilor Exercise 11: Prezentare generală a ratingurilor binare și implicite Exercise 12: Performanța modelului binar Exercise 13: Recomandări din date binare Exercise 14: Recapitularea cursului