Łączenie z ocenami
W ćwiczeniu wideo zobaczyłeś(-aś), jak stosować transformacje w PySparku, łącząc tabele film i ratings w celu utworzenia nowej kolumny przechowującej średnią ocenę na klienta.
W tym ćwiczeniu pogłębisz integrację tabel film i ratings – korzystając z tych samych technik, obliczysz średnią ocenę dla każdego filmu.
DataFrame PySpark z filmami, film_df, oraz DataFrame PySpark z ocenami, rating_df, są dostępne w twoim środowisku pracy.
To ćwiczenie jest częścią kursu
Wprowadzenie do inżynierii danych
Instrukcje do ćwiczenia
- Oblicz średnią ocenę dla każdego
film_idi przypisz wynik doratings_per_film_df. - Uzupełnij instrukcję
.join(), aby złączyć tabele po kolumniefilm_id. - Wyświetl pierwsze
5wyników otrzymanego DataFrame.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Use groupBy and mean to aggregate the column
ratings_per_film_df = rating_df.____('____').____('____')
# Join the tables using the film_id column
film_df_with_ratings = film_df.join(
ratings_per_film_df,
film_df.film_id==____
)
# Show the 5 first results
print(film_df_with_ratings.____)