DataFrame の基礎と、データクレンジングの重要性を復習します。

Apache Spark で始めるデータクリーニング入門

データクリーニングの復習

スキーマを定義する

イミュータビリティと遅延処理

イミュータビリティの復習

遅延処理を使う

Parquet を理解する

DataFrame を Parquet 形式で保存する

SQL と Parquet

DataFrame の基本

Spark で DataFrame の内容を変更するさまざまな手法を見ていきます。

DataFrameの列操作

Python で列の内容をフィルタリングする

Filtering Question #1

フィルタリング 問題 #2

DataFrame の列を変更する

条件付きのDataFrame列操作

when() の例

When / Otherwise

ユーザー定義関数

ユーザー定義関数を理解する

Spark でユーザー定義関数を使う

パーティション分割と遅延処理

ID フィールドの追加

異なるパーティションでのID

ID活用のさらなるテクニック

実世界での DataFrame 操作

パフォーマンスを高めたりリソース要件を減らしたりして、データクレンジング作業を改善します。

キャッシュ

DataFrame をキャッシュする

DataFrame をキャッシュから削除する

インポートのパフォーマンスを改善する

ファイルサイズの最適化

ファイル取り込みのパフォーマンス

クラスター構成

Spark の設定を読み取る

Spark の設定を書き換える

パフォーマンスの改善

通常の結合

Spark の結合でブロードキャストを使う

ブロードキャスト結合と通常の結合を比較する

パフォーマンスの向上

Spark を使って複雑な実データを処理し、パイプラインの基本を学びます。

データパイプライン入門

クイックなパイプライン

パイプラインのデータ問題

データ処理のテクニック

コメント行の削除

不正な行の削除

列への分割

さらにパースする

データ検証

結合で行を検証する

無効な行を確認する

最終分析と成果物の提供

犬のパース処理

画像ごとのカウント

犬ピクセルの割合

おめでとうございます。次のステップへ

複雑な処理とデータパイプライン

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

データを扱うのは難しいものです。ましてや数百万、数十億行規模となるとさらに大変です。
きれいなデータを前提にノートPC上で書かれたデータ処理コードを受け取りましたか？
おそらく、プロトタイプのデータ処理を本番へ移行する役割を任されたことがあるのではないでしょうか。
欠損値や奇妙な書式、そして桁違いのデータ量を含む実世界のデータセットに取り組んだことがあるかもしれません。これが初めてでも、このコースでは、Apache Spark と Python を使ってデータ処理を準備するために必要なことを学べます。
用語、手法、そして高性能で保守しやすく、理解しやすいデータ処理基盤を作るためのベストプラクティスを学習します。

Intermediate Python

Introduction to PySpark

PySparkでデータフレームとパイプラインを使い、Pythonでデータをクリーンにする方法を学びます。

PySpark でデータをクレンジングする

PythonでApache Sparkを使い、データのクリーニング手法を学びます。

PySparkによるビッグデータ

Data Engineering Consultant

最終分析と納品

分析計算（UDF）

分析計算（インライン）

演習に進みましょう！

複雑な処理とデータパイプライン - 最終分析と成果物の提供

最終分析と成果物の提供

Create Your Free Account