Construiește pipeline-ul de validare încrucișată

Acum că avem datele, împărțirile în seturi de antrenament și testare, modelul și valorile hiperparametrilor, să îi spunem lui Spark cum să aplice validarea încrucișată asupra modelului, astfel încât să găsească cea mai bună combinație de hiperparametri și să ne-o returneze.

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

Instrucțiuni pentru exercițiu

Creează un CrossValidator numit cv, folosind modelul als ca estimator și setând estimatorParamMaps la param_grid-ul pe care tocmai l-ai construit. Spune-i lui Spark că evaluator-ul de utilizat este "evaluator"-ul creat anterior. Setează numFolds la 5.
Confirmă că cv a fost construit corect afișându-l cu print(cv).

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Build cross validation using CrossValidator
____ = CrossValidator(estimator=____, estimatorParamMaps=____, evaluator=____, numFolds=____)

# Confirm cv was built
print(____)

Editează și rulează codul

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Acest capitol îți va arăta cât de puternice pot fi motoarele de recomandare și va face distincții importante între motoarele bazate pe filtrare colaborativă și cele bazate pe conținut, precum și între tipurile de date implicite și explicite pe care le pot folosi. Vei învăța, de asemenea, o metodă eficientă de a descoperi caracteristici ascunse (caracteristici latente) care pot să nu fie evidente în seturile de date despre clienți.

Exercise 1: De ce să înveți să construiești motoare de recomandare?Exercise 2: Descoperă puterea unui motor de recomandare Exercise 3: Puterea motoarelor de recomandare Exercise 4: Tipuri de motoare de recomandare și tipuri de date Exercise 5: Filtrare colaborativă vs. filtrare bazată pe conținut Exercise 6: Filtrare colaborativă vs. filtrare bazată pe conținut – partea a II-a Exercise 7: Date implicite vs. explicite Exercise 8: Tipurile de date pentru evaluări Exercise 9: Utilizări ale motoarelor de recomandare Exercise 10: Alte utilizări ale motoarelor de recomandare.Exercise 11: Confirmă înțelegerea caracteristicilor latente

În acest capitol vei recapitula conceptele de bază ale înmulțirii și factorizării matricelor, vei aprofunda modul în care funcționează algoritmul Alternating Least Squares și ce argumente și hiperparametri folosește pentru a returna cele mai bune recomandări posibile. Vei învăța, de asemenea, tehnici importante pentru pregătirea corectă a datelor în vederea utilizării ALS în Spark.

Exercise 1: Prezentare generală a înmulțirii matricelor Exercise 2: Înmulțirea matricelor Exercise 3: Înmulțirea matricelor – partea a II-a Exercise 4: Prezentare generală a factorizării matricelor Exercise 5: Factorizarea matricelor Exercise 6: Factorizarea non-negativă a matricelor Exercise 7: Cum alternează ALS pentru a genera predicții Exercise 8: Estimarea recomandărilor Exercise 9: RMSE pe măsură ce ALS alternează Exercise 10: Pregătirea datelor pentru Spark ALS Exercise 11: Format corect și utilizatori distincți Exercise 12: Atribuirea de ID-uri întregi filmelor Exercise 13: Parametrii și hiperparametrii ALS Exercise 14: Construiește un model ALS Exercise 15: Construiește evaluatorul RMSE Exercise 16: Calculează RMSE

În acest capitol vei face cunoștință cu setul de date MovieLens. Vei parcurge pașii necesari pentru a evalua compatibilitatea acestuia cu ALS, vei construi un model ALS complet, cu validare încrucișată, și vei învăța cum să îi evaluezi performanța. Aceasta va fi baza pentru toate modelele ALS pe care le vei construi ulterior cu PySpark.

Exercise 1: Introducere în setul de date MovieLens Exercise 2: Explorarea datelor MovieLens Exercise 3: Calculează densitatea datelor Exercise 4: Metodele GroupBy și Filter Exercise 5: Statistici sumare MovieLens Exercise 6: Vizualizarea schemei Exercise 7: Construirea modelului ALS pe datele MovieLens Exercise 8: Creează împărțirile de antrenament/testare și construiește modelul ALS Exercise 9: Spune-i lui Spark cum să regleze modelul tău ALS Exercise 10: Construiește pipeline-ul de validare încrucișată

Exercițiul curent

Exercise 11: Cel Mai Bun Model și Parametrii Săi Exercise 12: Evaluarea performanței modelului Exercise 13: Generează predicții și calculează RMSE Exercise 14: Interpretarea RMSE Exercise 15: Recomandările au sens?

În cele mai multe situații reale, nu vei dispune de date „perfecte" despre clienți pentru a construi un model ALS. Acest capitol te va învăța cum să folosești datele despre comportamentul clienților pentru a „deduce" evaluările acestora și cum să utilizezi aceste evaluări deduse pentru a construi un motor de recomandare ALS. Folosind setul de date Million Songs și o altă versiune a setului de date MovieLens, acest capitol îți va arăta cum să valorifici datele disponibile pentru a construi un motor de recomandare cu ALS și a îi evalua performanța.

Exercise 1: Introducere în setul de date Million Songs Exercise 2: Verifică înțelegerea conceptelor de rating implicit Exercise 3: Statistici sumare pentru MSD Exercise 4: Statistici sumare grupate Exercise 5: Adaugă zerouri Exercise 6: Evaluarea modelelor cu ratinguri implicite Exercise 7: Specifică hiperparametrii ALS Exercise 8: Construiește modele implicite Exercise 9: Rularea unui model ALS implicit cu validare încrucișată Exercise 10: Extragerea parametrilor Exercise 11: Prezentare generală a ratingurilor binare și implicite Exercise 12: Performanța modelului binar Exercise 13: Recomandări din date binare Exercise 14: Recapitularea cursului