W pierwszym rozdziale poznasz świat inżynierii danych! Dowiesz się, czym różni się inżynier danych od analityka danych, zapoznasz się z przeglądem narzędzi używanych przez inżynierów danych i zrozumiesz, jaką rolę w inżynierii danych odgrywa technologia chmurowa.

Czym jest inżynieria danych?

Zadania inżyniera danych

Inżynier danych czy analityk danych?

Problemy inżynierii danych

Narzędzia inżyniera danych

Rodzaje baz danych

Zadania przetwarzania danych

Narzędzia do harmonogramowania

Dostawcy chmury

Dlaczego chmura obliczeniowa?

Największe firmy w chmurze obliczeniowej

Usługi chmurowe

Wprowadzenie do inżynierii danych

Skoro znasz już główne różnice między inżynierem danych a analitykiem danych, czas przyjrzeć się narzędziom inżyniera danych! Dowiesz się szczegółowo o różnych typach baz danych, które wykorzystują inżynierowie danych, zrozumiesz, dlaczego przetwarzanie równoległe jest fundamentem ich warsztatu, i nauczysz się harmonogramować zadania przetwarzania danych przy użyciu frameworków do planowania zadań.

Bazy danych

SQL vs NoSQL

Schemat bazy danych

Łączenie tabel za pomocą relacji

Diagram schematu gwiazdy

Czym jest przetwarzanie równoległe

Po co stosować przetwarzanie równoległe?

Od zadania do podzadań

Używanie DataFrame

Frameworki do obliczeń równoległych

Spark, Hadoop i Hive

Groupby w PySpark

Uruchamianie plików PySpark

Frameworki do harmonogramowania przepływów pracy

Airflow, Luigi i cron

DAG-i w Airflow

Zestaw narzędzi inżyniera danych

Skoro poznałeś już narzędzia inżynierów danych, czas przejść do sedna ich codziennej pracy! Dzięki procesowi ETL nauczysz się, jak pozyskiwać surowe dane z różnych źródeł, przekształcać je w użyteczne informacje i ładować do odpowiednich baz danych gotowych do użycia.

Ekstrakcja danych

Źródła danych

Pobieranie danych z API

Odczyt danych z bazy danych

Transformacja

Podział stawki za wypożyczenie

Przygotowanie do transformacji

Łączenie z ocenami

Wczytywanie danych

OLAP czy OLTP

Zapisywanie do pliku

Ładowanie danych do Postgres

Składamy wszystko w całość

Definiowanie DAG-a

Konfiguracja Airflow

Interpretowanie DAG-a

Ekstrakcja, transformacja i ładowanie danych (ETL)

Podsumuj wiedzę z poprzednich trzech rozdziałów, realizując rzeczywisty przypadek użycia inżynierii danych z DataCamp! Wykonasz i zaharmonogramujesz proces ETL, który przekształci surowe dane dotyczące ocen kursów w praktyczne rekomendacje kursów dla użytkowników DataCamp.

Oceny kursów

Eksploracja schematu

Zapytanie do tabeli

Średnia ocena kursu

Od ocen do rekomendacji

Odfiltruj uszkodzone dane

Zastosowanie transformacji rekomendacji

Planowanie codziennych zadań

Tabela docelowa

Definiowanie DAG

Włącz DAG

Odpytywanie rekomendacji

Gratulacje

Studium przypadku: DataCamp

datacamp_application.sql

Słyszałeś o inżynierach danych i zastanawiasz się, czym właściwie się zajmują? A może wiesz, co robią, ale nie wiesz, jak samemu zostać jednym z nich? Ten kurs to idealne wprowadzenie do tematu. Omawia wszystko, co musisz wiedzieć, aby sprawnie przetwarzać dane. Zdobędziesz wystarczający kontekst, by zacząć eksplorować świat inżynierii danych. Kurs jest szczególnie przydatny dla osób pracujących w firmach z wieloma źródłami danych, które nie mają jeszcze jasnego pomysłu, jak je efektywnie i skalowalnie wykorzystać. Wprowadź te techniki w swojej firmie i stań się niezastąpionym członkiem zespołu.

<h2>Rozpocznij naukę Data Engineering</h2> 
Czy interesuje Cię kariera w data engineering, ale nie wiesz, od czego zacząć? A może chcesz dowiedzieć się więcej o tym, czym zajmują się inżynierowie danych, zanim podejmiesz kolejne kroki? Ten czterogodzinny kurs to wprowadzenie do inżynierii danych oraz podstawowych koncepcji, technik i narzędzi, które musisz znać, aby wykonywać tę pracę.
<br><br> 
<h2>Poznaj koncepcje i techniki inżynierii danych</h2> 
Zaczniesz od poznania różnic między data engineerem a data scientistą (i tego, jak współpracują), a następnie dowiesz się więcej o narzędziach pracy, ze szczególnym uwzględnieniem cloud computing i parallel computing. Pod koniec drugiego rozdziału zrozumiesz zastosowania SQL i NoSQL, korzystanie z DataFrames oraz to, dlaczego przetwarzanie równoległe jest tak ważne.
<br><br> 
<h2>Wykonuj ETL w praktycznych ćwiczeniach</h2> 
Proces ETL jest kluczowy w pracy inżyniera danych. Nauczysz się, jak dane są pozyskiwane, przekształcane i ładowane, aby przygotować je do analizy i generowania wniosków. Na końcu kursu wykorzystasz całą tę wiedzę w praktyce, samodzielnie wykonując i planując proces ETL na rzeczywistych danych.
<br><br> 
Nasze ćwiczenia i interaktywne testy pozwalają Ci powtórzyć i utrwalić nową wiedzę, dzięki czemu zyskasz pewność, że potrafisz o niej rozmawiać i stosować ją w praktyce, gdy otrzymasz Statement of Accomplishment.
<br><br> 
Ten kurs wprowadzający jest częścią ścieżki Data Engineering, która oferuje Ci możliwości pogłębienia wiedzy z zakresu inżynierii danych oraz jasny plan kolejnych kroków, aby zostać profesjonalnym inżynierem danych.

Intermediate Python

Intermediate SQL

Zrób pierwszy krok do zostania inżynierem danych. Poznaj świat inżynierii danych w tym kursie.

Poznaj świat inżynierii danych w tym krótkim kursie, obejmującym narzędzia i zagadnienia, takie jak ETL i cloud computing. 

Oceny kursów

Create Your Free Account