데이터가 다양한 구조로 존재할 수 있다는 것을 배웠습니다. 정형 데이터와 반정형 데이터, 비정형 데이터를 올바르게 정의할 수 있나요?
이 연습은 강의의 일부입니다
이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요
이 장에서는 데이터 엔지니어링이 무엇인지와 데이터 엔지니어에 대한 수요가 왜 증가하고 있는지에 대해 배웁니다. 그 다음 데이터 엔지니어링이 데이터 과학 라이프사이클에서 어디에 위치하는지, 데이터 엔지니어가 데이터 과학자와 어떻게 다른지 알아보고, 완전한 데이터 파이프라인을 처음으로 만나봅니다.
데이터 엔지니어의 주요 업무 중 하나인 데이터 저장에 대해 알아볼 시간입니다. 이번 장에서는 데이터 엔지니어가 다양한 데이터 구조를 관리하는 방법과 데이터 쿼리 및 저장의 표준 프로그래밍 언어인 SQL을 활용하는 방법, 데이터 레이크와 데이터 웨어하우스를 이용해 적절한 데이터 저장 솔루션을 구현하는 방법을 배웁니다.
현재 연습
데이터 엔지니어는 단계별로 다양한 처리 기법을 활용하여 원시 데이터를 분석에 적합한 형태로 준비해 데이터 과학자의 업무를 수월하게 합니다. 이러한 단계를 결합해 파이프라인을 만들어야 하는데, 이때 자동화가 핵심적인 역할을 합니다. 또한, 데이터 엔지니어는 병렬 컴퓨팅과 클라우드 컴퓨팅을 활용해 파이프라인을 원활하게 운영합니다.
