Przewidywanie na danych testowych
Dostępny jest dopasowany model logistyczny df_fitted. Dostępna jest też ramka danych df_testset zawierająca dane testowe dla tego modelu. Zmienna fields zawiera listę ['prediction', 'label', 'endword', 'doc', 'probability'] – określa ona, które pola predykcji mają zostać wyświetlone.
To ćwiczenie jest częścią kursu
Wprowadzenie do Spark SQL w Pythonie
Instrukcje do ćwiczenia
- Zastosuj model do danych z
df_testset. - Wyświetl komunikat "incorrect", jeśli predykcja nie zgadza się z etykietą.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Apply the model to the test data
predictions = df_fitted.____(____).select(fields)
# Print incorrect if prediction does not match label
for x in predictions.take(8):
print()
if x.label != int(x.____):
print("INCORRECT ==> ")
for y in fields:
print(y,":", x[y])