or
이 연습은 강의의 일부입니다
이번 장에서는 데이터 엔지니어링이 무엇인지, 그리고 왜 데이터 엔지니어링에 대한 수요가 증가하고 있는지 알아봅니다. 또한, 데이터 엔지니어링이 데이터 과학 라이프 사이클에서 무엇을 담당하는지, 데이터 엔지니어와 데이터 과학자의 차이는 무엇인지 살펴보고, 완전한 데이터 파이프라인을 처음으로 만나봅니다.
데이터 엔지니어의 주요 업무 중 하나인 데이터 저장에 대해 알아볼 시간입니다. 이번 장에서는 데이터 엔지니어가 다양한 데이터 구조를 관리하는 방법과 데이터 쿼리 및 저장의 표준 프로그래밍 언어인 SQL을 활용하는 방법, 데이터 레이크와 데이터 웨어하우스를 이용해 적절한 데이터 스토리지 솔루션을 구현하는 방법을 배웁니다.
데이터 엔지니어는 단계별로 다양한 처리 기법을 활용하여 원시 데이터를 분석에 적합한 형태로 준비해 데이터 과학자의 업무를 수월하게 합니다. 이러한 단계를 결합해 파이프라인을 만들어야 하는데, 이때 자동화가 핵심적인 역할을 합니다. 또한, 데이터 엔지니어는 병렬 컴퓨팅과 클라우드 컴퓨팅을 활용해 파이프라인을 원활하게 운영합니다.
현재 연습