W tym rozdziale dowiesz się, czym jest inżynieria danych i dlaczego zapotrzebowanie na specjalistów w tej dziedzinie stale rośnie. Poznasz miejsce inżynierii danych w cyklu życia data science, zobaczysz, czym inżynier danych różni się od data scientista, i zapoznasz się z pierwszym kompletnym potokiem danych.

Inżynieria danych i big data

Z biegiem danych

Poza zakresem odpowiedzialności

Wielkie dane

Inżynierowie danych a analitycy danych

Prawda czy fałsz?

Kto to robi?

Potok danych

To nieprawda

Pipeline

Czym jest inżynieria danych?

Czas przyjrzeć się przechowywaniu danych – jednemu z głównych zadań inżyniera danych. W tym rozdziale dowiesz się, jak inżynierowie danych zarządzają różnymi strukturami danych, pracują z SQL – językiem programowania służącym do odpytywania i przechowywania danych – oraz wdrażają odpowiednie rozwiązania do przechowywania danych, takie jak jeziora danych i hurtownie danych.

Struktury danych

Czym się różnią

Bazy danych SQL

Który język rządzi danymi?

Kolumny

Dwie różne role

Hurtownie danych i data lakes

Prawda czy fałsz

Nasza hurtownia (pośrodku ulicy)

Przechowywanie danych

Inżynierowie danych ułatwiają pracę data scientistom, przygotowując surowe dane do analizy za pomocą różnych technik przetwarzania stosowanych na poszczególnych etapach. Etapy te trzeba połączyć w potoki, co wymaga automatyzacji. Inżynierowie danych wykorzystują też przetwarzanie równoległe i chmurę obliczeniową, aby zapewnić płynne działanie potoków.

Przetwarzanie danych

Opcje

Extract

Transform

Load

Połącz kropki

Planowanie przetwarzania danych

Ręcznie

Czas

Warunek

Harmonogramy

Wsad

Strumień

Wsad czy strumień

Przetwarzanie równoległe

Zawsze i wszędzie?

Prawda

Fałsz

Równoległy wszechświat

Przetwarzanie w chmurze

Głowa w chmurach

Computing

Databases

Każdy ma swoje miejsce

Jesteśmy mistrzami

Przetwarzanie i przesyłanie danych

Lexicon

Course Glossary: Understanding Data Engineering

W 2019 roku średnie wynagrodzenie inżynierów danych prześcignęło zarobki data scientistów. Jak do tego doszło? Firmy pragnące wydobyć wartość ze swoich danych przekonały się, że nie jest to możliwe bez odpowiedniej infrastruktury. Inżynierowie danych budują fundamenty, na których opiera się data science.
<br /> <br />
W tym kursie poznasz główne obowiązki inżyniera danych, dowiesz się, czym różni się ta rola od roli data scientista, i zobaczysz, jak inżynierowie danych zarządzają przepływem danych w organizacji. Dzięki praktycznym ćwiczeniom będziesz śledzić losy fikcyjnej platformy streamingowej Spotflix i zobaczyć, jak jej inżynierowie danych zbierają, oczyszczają i katalogują dane. Po ukończeniu kursu będziesz wiedzieć, czym zajmują się inżynierowie danych w twojej firmie, swobodnie porozmawiasz z inżynierem danych i zbudujesz solidne podstawy do własnej kariery w tej dziedzinie.

Filmy wideo zawierają interaktywne transkrypcje – możesz je otworzyć, klikając „Pokaż transkrypcję" w lewym dolnym rogu odtwarzacza.

Glosariusz kursu znajdziesz po prawej stronie, w sekcji zasobów.

Aby uzyskać punkty CPE, musisz ukończyć kurs i zdobyć co najmniej 70% punktów w kwalifikowanej ocenie. Przejdź do oceny, klikając informację o punktach CPE po prawej stronie.

<h2> Poznaj podstawy inżynierii danych </h2>
<br>
W tym kursie dowiesz się, jakie są kluczowe obowiązki inżyniera danych, czym różnią się od obowiązków data scientistów oraz jak usprawniać przepływ danych w organizacji. Dzięki praktycznym ćwiczeniom będziesz śledzić Spotflix, fikcyjną firmę zajmującą się streamingiem muzyki, aby zrozumieć, jak jej inżynierowie danych zbierają, oczyszczają i katalogują dane. 
<br><br>
<h2> Zastosuj w przypadkach osobistych</h2>
<br>
Pod koniec kursu zrozumiesz, czym zajmują się inżynierowie danych w Twojej firmie, będziesz gotowy/gotowa do rozmowy z inżynierem danych i zyskasz solidne podstawy, aby rozpocząć własną drogę w inżynierii danych.

Odkryj, jak inżynierowie danych tworzą podstawy dla nauki o danych. Bez kodowania!

Wprowadzenie do inżynierii danych

Odkryj, jak inżynierowie danych tworzą fundamenty, które umożliwiają data science. Bez kodowania!

Młodszy Inżynier Danych w SQL

Analityk danych w Databricks

Zrozumienie zagadnień danych

Ręczne uruchomienie potoku kodowania utworów, ponieważ inżynierowie zmienili koder i chcą się upewnić, że dane nadal przechodzą walidację.

Generowanie cotygodniowej playlisty Spotflix z rozdziału 1 w każdy poniedziałek o 00:00.

Przetwarzanie teledysków przesyłanych przez artystów co godzinę.

Pobieranie danych z Google Analytics każdego ranka w celu monitorowania przebiegu kampanii promocyjnej.

Uruchamianie sprawdzania poprawności, gdy zbierane są nowe filmy.

Aktualizowanie liczby obserwujących w tabeli playlist po tym, jak użytkownik zasubskrybował playlistę.

Harmonogramy

Wprowadzenie do inżynierii danych

Interaktywne ćwiczenie praktyczne