Binarizace dne v týdnu
V předchozím videu jsme viděli, že domy se na víkend přidávají do nabídky jen zřídka. Vytvoříme nové pole, které bude říkat, jestli je nemovitost inzerována v pracovní den, nebo ne. V tomto příkladu máme pole List_Day_of_Week, kde pondělí je označeno hodnotou 1.0 a neděle hodnotou 7.0. Převedeme ho na binární pole, kde pracovní den bude 0 a víkend 1. K tomu použijeme feature transformer Binarizer z PySparku.
Toto cvičení je součástí kurzu
Feature Engineering with PySpark
Pokyny k cvičení
- Importuj feature transformer
Binarizerz moduluml.featurevpyspark. - Vytvoř transformer pomocí
Binarizer()– nastav práh pro přiřazení hodnoty 1 na vše po pátku, tedy 5.0, vstupní sloupec jakoList_Day_of_Weeka výstupní sloupec jakoListed_On_Weekend. - Aplikuj transformaci binarizéru na
dfpomocí metodytransform(). - Ověř, že transformace proběhla správně, tak že vyberéš sloupce
List_Day_of_WeekaListed_On_Weekenda zobrazíš je pomocíshow().
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Import transformer
from pyspark.____.____ import ____
# Create the transformer
binarizer = ____(threshold=____ inputCol=____, outputCol=____)
# Apply the transformation to df
df = binarizer.____(____)
# Verify transformation
df[[____, ____]].____()