Bouw een RMSE-evaluator

Nu je weet hoe je een model op trainingsdata fit en testvoorspellingen genereert, heb je een manier nodig om te beoordelen hoe goed je model presteert. Daarvoor bouwen we een evaluator. Evaluators in Spark kun je op verschillende manieren opzetten. Voor ons doel willen we een regressionEvaluator die de RMSE berekent. Nadat we onze regressionEvaluator hebben gebouwd, kunnen we het model fitten op onze data en voorspellingen genereren.

Deze oefening maakt deel uit van de cursus

Aanbevelingssystemen bouwen met PySpark

Oefeninstructies

Importeer het vereiste RegressionEvaluator-pakket uit de klasse pyspark.ml.evaluation.
Maak de evaluator-code af en geef de metric name op als "rmse". Stel de labelCol in op de naam van de kolom in onze ratings-data die onze ratings bevat (gebruik de methode ratings.columns om kolomnamen te bekijken) en stel de naam van de prediction-kolom in op "prediction".
Controleer of de evaluator correct is aangemaakt door elk van de drie parameters eruit te halen. Doe dit door de volgende 3 regels code uit te voeren, elk binnen een print-statement:
- evaluator.getMetricName()
- evaluator.getLabelCol()
- evaluator.getPredictionCol()

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Import RegressionEvaluator
from pyspark.ml.evaluation import ____

# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")

# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Aanbevelingssystemen bouwen met PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Begin gratis met de cursus

In dit hoofdstuk zie je hoe krachtig aanbevelingssystemen kunnen zijn en leer je het verschil tussen collaborative filtering-systemen en contentgebaseerde systemen, evenals de verschillende typen impliciete en expliciete gegevens die aanbevelingssystemen kunnen gebruiken. Je ontdekt ook een krachtige manier om verborgen kenmerken (latente kenmerken) bloot te leggen waarvan je misschien niet eens wist dat ze in klantgegevenssets aanwezig zijn.

Exercise 1: Waarom leren hoe je aanbevelingssystemen bouwt?Exercise 2: Ontdek de kracht van een aanbevelingsmachine Exercise 3: De kracht van aanbevelingssystemen Exercise 4: Soorten recommendation engines en datatypes Exercise 5: Collaborative filtering vs content-based filtering Exercise 6: Collaborative vs content-based filtering deel II Exercise 7: Impliciete vs expliciete data Exercise 8: Gegevenstypen van beoordelingen Exercise 9: Toepassingen van aanbevelingssystemen Exercise 10: Andere toepassingen van aanbevelingssystemen.Exercise 11: Begrip van latente features bevestigen

In dit hoofdstuk herhaal je de basisbegrippen van matrixvermenigvuldiging en matrixfactorisatie, en duik je in hoe het Alternating Least Squares-algoritme werkt en welke argumenten en hyperparameters het gebruikt om de best mogelijke aanbevelingen te geven. Je leert ook belangrijke technieken om je gegevens in Spark goed voor te bereiden voor ALS.

Exercise 1: Overzicht van matrixvermenigvuldiging Exercise 2: Matrixvermenigvuldiging Exercise 3: Matrixvermenigvuldiging deel II Exercise 4: Overzicht van matrixfactorisatie Exercise 5: Matrixfactorisatie Exercise 6: Niet-negatieve matrixfactorisatie Exercise 7: Hoe ALS afwisselt om voorspellingen te genereren Exercise 8: Aanbevelingen inschatten Exercise 9: RMSE terwijl ALS alterneert Exercise 10: Data voorbereiden voor Spark ALS Exercise 11: Correct formaat en unieke gebruikers Exercise 12: Gehele-ID's toekennen aan films Exercise 13: ALS-parameters en -hyperparameters Exercise 14: Bouw een ALS-model Exercise 15: Bouw een RMSE-evaluator

Huidige oefening

Exercise 16: RMSE ophalen

In dit hoofdstuk maak je kennis met de MovieLens-gegevensset. Je bekijkt hoe je de geschiktheid ervan voor ALS beoordeelt, bouwt er een volledig gecrossvalideerd ALS-model op, en leert hoe je de prestaties evalueert. Dit vormt de basis voor alle volgende ALS-modellen die je met PySpark bouwt.

Exercise 1: Introductie tot de MovieLens-gegevensset Exercise 2: De MovieLens-gegevens bekijken Exercise 3: Sparsity berekenen Exercise 4: De methodes GroupBy en Filter Exercise 5: Samenvattende statistieken van MovieLens Exercise 6: Schema bekijken Exercise 7: ALS-model bouwen met MovieLens-gegevens Exercise 8: Maak train/test-splits en bouw je ALS-model Exercise 9: Vertel Spark hoe je je ALS-model wilt afstemmen Exercise 10: Bouw je crossvalidatie-pipeline Exercise 11: Beste model en modelparameters Exercise 12: Evaluatie van modelprestaties Exercise 13: Genereer voorspellingen en bereken de RMSE Exercise 14: De RMSE interpreteren Exercise 15: Zijn aanbevelingen logisch

In de meeste praktijksituaties heb je geen "perfecte" klantgegevens beschikbaar om een ALS-model te bouwen. In dit hoofdstuk leer je hoe je klantgedragsgegevens gebruikt om klantbeoordelingen te "afleiden" en die afgeleide beoordelingen in te zetten om een ALS-aanbevelingssysteem te bouwen. Met de Million Songs-gegevensset en een andere versie van de MovieLens-gegevensset leer je hoe je met de gegevens die je hebt een aanbevelingssysteem met ALS bouwt en de prestaties ervan evalueert.

Exercise 1: Introductie van de Million Songs Dataset Exercise 2: Bevestig je begrip van impliciete ratingconcepten Exercise 3: MSD-samenvattingsstatistieken Exercise 4: Gegroepeerde samenvattingsstatistieken Exercise 5: Nullen toevoegen Exercise 6: Implicit ratings-modellen evalueren Exercise 7: Geef ALS-hyperparameters op Exercise 8: Impliciete modellen bouwen Exercise 9: Een cross-validated implicit ALS-model uitvoeren Exercise 10: Parameters uitlezen Exercise 11: Overzicht van binaire, impliciete beoordelingen Exercise 12: Prestaties van het binaire model Exercise 13: Aanbevelingen op basis van binaire data Exercise 14: Cursusoverzicht