데이터 스케줄링에는 세 가지 방식이 있습니다. 수동으로 실행되거나, 특정 시간에 실행되거나, 특정 조건이 충족되면 실행되는 방식입니다.
다음의 작업을 올바르게 분류해 보세요.
이 연습은 강의의 일부입니다
이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요
이 장에서는 데이터 엔지니어링이 무엇인지와 데이터 엔지니어에 대한 수요가 왜 증가하고 있는지에 대해 배웁니다. 그 다음 데이터 엔지니어링이 데이터 과학 라이프사이클에서 어디에 위치하는지, 데이터 엔지니어가 데이터 과학자와 어떻게 다른지 알아보고, 완전한 데이터 파이프라인을 처음으로 만나봅니다.
데이터 엔지니어의 주요 업무 중 하나인 데이터 저장에 대해 알아볼 시간입니다. 이번 장에서는 데이터 엔지니어가 다양한 데이터 구조를 관리하는 방법과 데이터 쿼리 및 저장의 표준 프로그래밍 언어인 SQL을 활용하는 방법, 데이터 레이크와 데이터 웨어하우스를 이용해 적절한 데이터 저장 솔루션을 구현하는 방법을 배웁니다.
데이터 엔지니어는 단계별로 다양한 처리 기법을 활용하여 원시 데이터를 분석에 적합한 형태로 준비해 데이터 과학자의 업무를 수월하게 합니다. 이러한 단계를 결합해 파이프라인을 만들어야 하는데, 이때 자동화가 핵심적인 역할을 합니다. 또한, 데이터 엔지니어는 병렬 컴퓨팅과 클라우드 컴퓨팅을 활용해 파이프라인을 원활하게 운영합니다.
현재 연습
