W tym rozdziale dowiesz się, czym jest inżynieria danych i dlaczego zapotrzebowanie na specjalistów w tej dziedzinie stale rośnie. Poznasz miejsce inżynierii danych w cyklu życia data science, zobaczysz, czym inżynier danych różni się od data scientista, i zapoznasz się z pierwszym kompletnym potokiem danych.

Inżynieria danych i big data

Z biegiem danych

Poza zakresem odpowiedzialności

Wielkie dane

Inżynierowie danych a analitycy danych

Prawda czy fałsz?

Kto to robi?

Potok danych

To nieprawda

Pipeline

Czym jest inżynieria danych?

Czas przyjrzeć się przechowywaniu danych – jednemu z głównych zadań inżyniera danych. W tym rozdziale dowiesz się, jak inżynierowie danych zarządzają różnymi strukturami danych, pracują z SQL – językiem programowania służącym do odpytywania i przechowywania danych – oraz wdrażają odpowiednie rozwiązania do przechowywania danych, takie jak jeziora danych i hurtownie danych.

Struktury danych

Opcje

Ustrukturyzowane

Częściowo ustrukturyzowane

Nieustrukturyzowane

Czym się różnią

Bazy danych SQL

Który język rządzi danymi?

Kolumny

Inżynierowie danych

Analityk danych

Dwie różne role

Hurtownie danych i data lakes

Prawda czy fałsz

Data lake

Hurtownia danych

Nasza hurtownia (pośrodku ulicy)

Przechowywanie danych

Inżynierowie danych ułatwiają pracę data scientistom, przygotowując surowe dane do analizy za pomocą różnych technik przetwarzania stosowanych na poszczególnych etapach. Etapy te trzeba połączyć w potoki, co wymaga automatyzacji. Inżynierowie danych wykorzystują też przetwarzanie równoległe i chmurę obliczeniową, aby zapewnić płynne działanie potoków.

Przetwarzanie danych

Połącz kropki

Planowanie przetwarzania danych

Harmonogramy

Wsad czy strumień

Przetwarzanie równoległe

Zawsze i wszędzie?

Równoległy wszechświat

Przetwarzanie w chmurze

Głowa w chmurach

Każdy ma swoje miejsce

Jesteśmy mistrzami

Przetwarzanie i przesyłanie danych

Lexicon

Course Glossary: Understanding Data Engineering

W 2019 roku średnie wynagrodzenie inżynierów danych prześcignęło zarobki data scientistów. Jak do tego doszło? Firmy pragnące wydobyć wartość ze swoich danych przekonały się, że nie jest to możliwe bez odpowiedniej infrastruktury. Inżynierowie danych budują fundamenty, na których opiera się data science.
<br /> <br />
W tym kursie poznasz główne obowiązki inżyniera danych, dowiesz się, czym różni się ta rola od roli data scientista, i zobaczysz, jak inżynierowie danych zarządzają przepływem danych w organizacji. Dzięki praktycznym ćwiczeniom będziesz śledzić losy fikcyjnej platformy streamingowej Spotflix i zobaczyć, jak jej inżynierowie danych zbierają, oczyszczają i katalogują dane. Po ukończeniu kursu będziesz wiedzieć, czym zajmują się inżynierowie danych w twojej firmie, swobodnie porozmawiasz z inżynierem danych i zbudujesz solidne podstawy do własnej kariery w tej dziedzinie.

Filmy wideo zawierają interaktywne transkrypcje – możesz je otworzyć, klikając „Pokaż transkrypcję" w lewym dolnym rogu odtwarzacza.

Glosariusz kursu znajdziesz po prawej stronie, w sekcji zasobów.

Aby uzyskać punkty CPE, musisz ukończyć kurs i zdobyć co najmniej 70% punktów w kwalifikowanej ocenie. Przejdź do oceny, klikając informację o punktach CPE po prawej stronie.

<h2> Poznaj podstawy inżynierii danych </h2>
<br>
W tym kursie dowiesz się, jakie są kluczowe obowiązki inżyniera danych, czym różnią się od obowiązków data scientistów oraz jak usprawniać przepływ danych w organizacji. Dzięki praktycznym ćwiczeniom będziesz śledzić Spotflix, fikcyjną firmę zajmującą się streamingiem muzyki, aby zrozumieć, jak jej inżynierowie danych zbierają, oczyszczają i katalogują dane. 
<br><br>
<h2> Zastosuj w przypadkach osobistych</h2>
<br>
Pod koniec kursu zrozumiesz, czym zajmują się inżynierowie danych w Twojej firmie, będziesz gotowy/gotowa do rozmowy z inżynierem danych i zyskasz solidne podstawy, aby rozpocząć własną drogę w inżynierii danych.

Odkryj, jak inżynierowie danych tworzą podstawy dla nauki o danych. Bez kodowania!

Wprowadzenie do inżynierii danych

Odkryj, jak inżynierowie danych tworzą fundamenty, które umożliwiają data science. Bez kodowania!

Młodszy Inżynier Danych w SQL

Analityk danych w Databricks

Zrozumienie zagadnień danych

Może przechowywać dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane.

Jest zoptymalizowany pod kątem efektywności kosztowej.

Zazwyczaj przechowuje mniejsze ilości danych niż data lake.

Przechowuje głównie dane ustrukturyzowane.

Nasza hurtownia (pośrodku ulicy)

Wprowadzenie do inżynierii danych

Interaktywne ćwiczenie praktyczne