pandas DataFrame をフィルタリングする
ソースシステムからデータを抽出したら、次は変換の番です。ソースデータには、後続のユースケースで実際に必要な情報よりも多くの情報が含まれていることがよくあります。このような場合、データパイプラインの「変換」フェーズで次元数を削減する必要があります。
pandas は pd としてインポート済みで、渡されたパスから DataFrame を読み込む extract() 関数も使用できます。
この演習はコースの一部です
Python で学ぶ ETL と ELT
演習の手順
extract()関数を使って、"sales_data.parquet"パスに保存されている DataFrame を読み込みます。transform()関数を更新し、"Quantity Ordered"が 1 より大きいすべての行と列を返すようにします。clean_dataDataFrame をさらに絞り込み、"Order Date"、"Quantity Ordered"、"Purchase Address"の列だけを含めます。- フィルタリングした DataFrame を返します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Extract data from the sales_data.parquet path
raw_sales_data = ____("sales_data.parquet")
def transform(raw_data):
# Only keep rows with `Quantity Ordered` greater than 1
clean_data = raw_data.____[____, :]
# Only keep columns "Order Date", "Quantity Ordered", and "Purchase Address"
clean_data = ____
# Return the filtered DataFrame
return ____
transform(raw_sales_data)