W tym rozdziale dowiesz się, czym jest inżynieria danych i dlaczego zapotrzebowanie na specjalistów w tej dziedzinie stale rośnie. Poznasz miejsce inżynierii danych w cyklu życia data science, zobaczysz, czym inżynier danych różni się od data scientista, i zapoznasz się z pierwszym kompletnym potokiem danych.

Inżynieria danych i big data

Proces data science

Z biegiem danych

Opcje

Zadania inżynierów danych

Zadania spoza zakresu inżynierów danych

Poza zakresem odpowiedzialności

Prawda

Fałsz

Wielkie dane

Inżynierowie danych a analitycy danych

Prawda czy fałsz?

Inżynier danych

Naukowiec danych

Kto to robi?

Potok danych

To nieprawda

Przepływ pracy w data science

Pipeline

Czym jest inżynieria danych?

Czas przyjrzeć się przechowywaniu danych – jednemu z głównych zadań inżyniera danych. W tym rozdziale dowiesz się, jak inżynierowie danych zarządzają różnymi strukturami danych, pracują z SQL – językiem programowania służącym do odpytywania i przechowywania danych – oraz wdrażają odpowiednie rozwiązania do przechowywania danych, takie jak jeziora danych i hurtownie danych.

Struktury danych

Czym się różnią

Bazy danych SQL

Który język rządzi danymi?

Kolumny

Dwie różne role

Hurtownie danych i data lakes

Prawda czy fałsz

Nasza hurtownia (pośrodku ulicy)

Przechowywanie danych

Inżynierowie danych ułatwiają pracę data scientistom, przygotowując surowe dane do analizy za pomocą różnych technik przetwarzania stosowanych na poszczególnych etapach. Etapy te trzeba połączyć w potoki, co wymaga automatyzacji. Inżynierowie danych wykorzystują też przetwarzanie równoległe i chmurę obliczeniową, aby zapewnić płynne działanie potoków.

Przetwarzanie danych

Połącz kropki

Planowanie przetwarzania danych

Harmonogramy

Wsad czy strumień

Przetwarzanie równoległe

Zawsze i wszędzie?

Równoległy wszechświat

Przetwarzanie w chmurze

Głowa w chmurach

Każdy ma swoje miejsce

Jesteśmy mistrzami

Przetwarzanie i przesyłanie danych

Lexicon

Course Glossary: Understanding Data Engineering

W 2019 roku średnie wynagrodzenie inżynierów danych prześcignęło zarobki data scientistów. Jak do tego doszło? Firmy pragnące wydobyć wartość ze swoich danych przekonały się, że nie jest to możliwe bez odpowiedniej infrastruktury. Inżynierowie danych budują fundamenty, na których opiera się data science.
<br /> <br />
W tym kursie poznasz główne obowiązki inżyniera danych, dowiesz się, czym różni się ta rola od roli data scientista, i zobaczysz, jak inżynierowie danych zarządzają przepływem danych w organizacji. Dzięki praktycznym ćwiczeniom będziesz śledzić losy fikcyjnej platformy streamingowej Spotflix i zobaczyć, jak jej inżynierowie danych zbierają, oczyszczają i katalogują dane. Po ukończeniu kursu będziesz wiedzieć, czym zajmują się inżynierowie danych w twojej firmie, swobodnie porozmawiasz z inżynierem danych i zbudujesz solidne podstawy do własnej kariery w tej dziedzinie.

Filmy wideo zawierają interaktywne transkrypcje – możesz je otworzyć, klikając „Pokaż transkrypcję" w lewym dolnym rogu odtwarzacza.

Glosariusz kursu znajdziesz po prawej stronie, w sekcji zasobów.

Aby uzyskać punkty CPE, musisz ukończyć kurs i zdobyć co najmniej 70% punktów w kwalifikowanej ocenie. Przejdź do oceny, klikając informację o punktach CPE po prawej stronie.

<h2> Poznaj podstawy inżynierii danych </h2>
<br>
W tym kursie dowiesz się, jakie są kluczowe obowiązki inżyniera danych, czym różnią się od obowiązków data scientistów oraz jak usprawniać przepływ danych w organizacji. Dzięki praktycznym ćwiczeniom będziesz śledzić Spotflix, fikcyjną firmę zajmującą się streamingiem muzyki, aby zrozumieć, jak jej inżynierowie danych zbierają, oczyszczają i katalogują dane. 
<br><br>
<h2> Zastosuj w przypadkach osobistych</h2>
<br>
Pod koniec kursu zrozumiesz, czym zajmują się inżynierowie danych w Twojej firmie, będziesz gotowy/gotowa do rozmowy z inżynierem danych i zyskasz solidne podstawy, aby rozpocząć własną drogę w inżynierii danych.

Odkryj, jak inżynierowie danych tworzą podstawy dla nauki o danych. Bez kodowania!

Wprowadzenie do inżynierii danych

Odkryj, jak inżynierowie danych tworzą fundamenty, które umożliwiają data science. Bez kodowania!

Młodszy Inżynier Danych w SQL

Analityk danych w Databricks

Zrozumienie zagadnień danych

Zadbaj o to, aby osoby korzystające z baz danych nie mogły przypadkowo usunąć teledysków.

Udostępnij dane o sesjach odsłuchiwania w formie gotowej do analizy – bez konieczności długiego przygotowywania danych.

Użyj Javy do zbudowania potoku zbierającego okładki albumów i zapisującego je w bazie.

Zidentyfikuj klientów, którzy prawdopodobnie zrezygnują z subskrypcji Spotflix, aby dział marketingu mógł do nich dotrzeć i zachęcić do odnowienia.

Sprawdź, w jakich krajach dani artyści są popularni, aby dostarczyć im wskazówki dotyczące planowania tras koncertowych.

Użyj Pythona, aby przeprowadzić analizę tego, czy użytkownicy wolą pasek wyszukiwania w lewym górnym rogu aplikacji Spotflix, czy w prawym górnym rogu.

Kto to robi?

Wprowadzenie do inżynierii danych

Interaktywne ćwiczenie praktyczne