Niet-negatieve matrixfactorisatie

Het is mogelijk dat één matrix twee even goede factorisaties heeft, waarbij de ene alleen positieve waarden bevat en de andere ook enkele negatieve waarden.

De matrix M is twee keer gefactoriseerd met twee verschillende factorisaties. Bekijk elk paar factormatrices L en U, en W en H om de verschillen te zien. Gebruik daarna hun producten om te controleren dat ze in essentie hetzelfde product opleveren.

Deze oefening maakt deel uit van de cursus

Aanbevelingssystemen bouwen met PySpark

Oefeninstructies

Gebruik print() om de matrices L en U te bekijken. Let op dat sommige waarden in L en U negatief zijn.
Gebruik print() om de matrices W en H te bekijken. Let op dat alle waarden in deze twee matrices positief zijn.
De matrices L en U en W en H zijn met elkaar vermenigvuldigd tot respectievelijk de matrices LU en WH. Gebruik getRMSE(product_matrix, original_matrix) om te zien hoe dicht LU bij M ligt vergeleken met hoe dicht WH bij M ligt. Lijken ze op elkaar?

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# View the L, U, W, and H matrices.
print("Matrices L and U:") 
print(____)
print(____)

print("Matrices W and H:")
print(____)
print(____)

# Calculate RMSE between LU and M
print("RMSE of LU: ", getRMSE(____, ____))

# Calculate RMSE between WH and M
print("RMSE of WH: ", getRMSE(____, ____))

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Aanbevelingssystemen bouwen met PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Begin gratis met de cursus

In dit hoofdstuk zie je hoe krachtig aanbevelingssystemen kunnen zijn en leer je het verschil tussen collaborative filtering-systemen en contentgebaseerde systemen, evenals de verschillende typen impliciete en expliciete gegevens die aanbevelingssystemen kunnen gebruiken. Je ontdekt ook een krachtige manier om verborgen kenmerken (latente kenmerken) bloot te leggen waarvan je misschien niet eens wist dat ze in klantgegevenssets aanwezig zijn.

Exercise 1: Waarom leren hoe je aanbevelingssystemen bouwt?Exercise 2: Ontdek de kracht van een aanbevelingsmachine Exercise 3: De kracht van aanbevelingssystemen Exercise 4: Soorten recommendation engines en datatypes Exercise 5: Collaborative filtering vs content-based filtering Exercise 6: Collaborative vs content-based filtering deel II Exercise 7: Impliciete vs expliciete data Exercise 8: Gegevenstypen van beoordelingen Exercise 9: Toepassingen van aanbevelingssystemen Exercise 10: Andere toepassingen van aanbevelingssystemen.Exercise 11: Begrip van latente features bevestigen

In dit hoofdstuk herhaal je de basisbegrippen van matrixvermenigvuldiging en matrixfactorisatie, en duik je in hoe het Alternating Least Squares-algoritme werkt en welke argumenten en hyperparameters het gebruikt om de best mogelijke aanbevelingen te geven. Je leert ook belangrijke technieken om je gegevens in Spark goed voor te bereiden voor ALS.

Exercise 1: Overzicht van matrixvermenigvuldiging Exercise 2: Matrixvermenigvuldiging Exercise 3: Matrixvermenigvuldiging deel II Exercise 4: Overzicht van matrixfactorisatie Exercise 5: Matrixfactorisatie Exercise 6: Niet-negatieve matrixfactorisatie

Huidige oefening

Exercise 7: Hoe ALS afwisselt om voorspellingen te genereren Exercise 8: Aanbevelingen inschatten Exercise 9: RMSE terwijl ALS alterneert Exercise 10: Data voorbereiden voor Spark ALS Exercise 11: Correct formaat en unieke gebruikers Exercise 12: Gehele-ID's toekennen aan films Exercise 13: ALS-parameters en -hyperparameters Exercise 14: Bouw een ALS-model Exercise 15: Bouw een RMSE-evaluator Exercise 16: RMSE ophalen

In dit hoofdstuk maak je kennis met de MovieLens-gegevensset. Je bekijkt hoe je de geschiktheid ervan voor ALS beoordeelt, bouwt er een volledig gecrossvalideerd ALS-model op, en leert hoe je de prestaties evalueert. Dit vormt de basis voor alle volgende ALS-modellen die je met PySpark bouwt.

Exercise 1: Introductie tot de MovieLens-gegevensset Exercise 2: De MovieLens-gegevens bekijken Exercise 3: Sparsity berekenen Exercise 4: De methodes GroupBy en Filter Exercise 5: Samenvattende statistieken van MovieLens Exercise 6: Schema bekijken Exercise 7: ALS-model bouwen met MovieLens-gegevens Exercise 8: Maak train/test-splits en bouw je ALS-model Exercise 9: Vertel Spark hoe je je ALS-model wilt afstemmen Exercise 10: Bouw je crossvalidatie-pipeline Exercise 11: Beste model en modelparameters Exercise 12: Evaluatie van modelprestaties Exercise 13: Genereer voorspellingen en bereken de RMSE Exercise 14: De RMSE interpreteren Exercise 15: Zijn aanbevelingen logisch

In de meeste praktijksituaties heb je geen "perfecte" klantgegevens beschikbaar om een ALS-model te bouwen. In dit hoofdstuk leer je hoe je klantgedragsgegevens gebruikt om klantbeoordelingen te "afleiden" en die afgeleide beoordelingen in te zetten om een ALS-aanbevelingssysteem te bouwen. Met de Million Songs-gegevensset en een andere versie van de MovieLens-gegevensset leer je hoe je met de gegevens die je hebt een aanbevelingssysteem met ALS bouwt en de prestaties ervan evalueert.

Exercise 1: Introductie van de Million Songs Dataset Exercise 2: Bevestig je begrip van impliciete ratingconcepten Exercise 3: MSD-samenvattingsstatistieken Exercise 4: Gegroepeerde samenvattingsstatistieken Exercise 5: Nullen toevoegen Exercise 6: Implicit ratings-modellen evalueren Exercise 7: Geef ALS-hyperparameters op Exercise 8: Impliciete modellen bouwen Exercise 9: Een cross-validated implicit ALS-model uitvoeren Exercise 10: Parameters uitlezen Exercise 11: Overzicht van binaire, impliciete beoordelingen Exercise 12: Prestaties van het binaire model Exercise 13: Aanbevelingen op basis van binaire data Exercise 14: Cursusoverzicht