Trong chương này, bạn sẽ tìm hiểu data engineering là gì và lý do tại sao nhu cầu về họ đang gia tăng. Sau đó, bạn sẽ khám phá vị trí của kỹ thuật dữ liệu trong vòng đời Khoa học dữ liệu, cách các kỹ sư dữ liệu khác với Nhà khoa học dữ liệu, và có phần giới thiệu về quy trình dữ liệu hoàn chỉnh đầu tiên của bạn.

Kỹ thuật dữ liệu và dữ liệu lớn

Đi theo dòng chảy

Không phụ trách

Thời của dữ liệu lớn

Kỹ sư dữ liệu và nhà khoa học dữ liệu

Hãy nói thật cho tôi biết

Ai làm việc này

Pipeline dữ liệu

Điều này không đúng

Pipeline

Kỹ thuật dữ liệu là gì?

Đã đến lúc nói về lưu trữ dữ liệu—một trong những trách nhiệm chính của một kỹ sư dữ liệu. Trong chương này, bạn sẽ tìm hiểu cách các kỹ sư dữ liệu quản lý các cấu trúc dữ liệu khác nhau, làm việc với SQL—ngôn ngữ lập trình được lựa chọn để truy vấn và lưu trữ dữ liệu, và triển khai các giải pháp lưu trữ dữ liệu phù hợp với data lake và data warehouse.

Cấu trúc dữ liệu

Cấu trúc

Khác nhau ở điểm nào

Cơ sở dữ liệu SQL

Ta có thể giải được mà

Các cột

Những “giống loài” khác nhau

Kho dữ liệu và hồ dữ liệu

Nói đúng sự thật

Kho dữ liệu của chúng ta (ở giữa con phố của chúng ta)

Lưu trữ dữ liệu

Các kỹ sư dữ liệu giúp cuộc sống của các Nhà khoa học dữ liệu trở nên dễ dàng hơn bằng cách chuẩn bị dữ liệu thô cho việc phân tích, sử dụng các kỹ thuật xử lý khác nhau ở các bước khác nhau. Những bước này cần được kết hợp để tạo thành các pipeline, đó là lúc tự động hóa phát huy tác dụng. Cuối cùng, các kỹ sư dữ liệu sử dụng điện toán song song và điện toán đám mây để đảm bảo các pipeline vận hành trơn tru.

Xử lý dữ liệu

Tùy chọn

Extract

Transform

Load

Nối các điểm lại với nhau

Lập lịch cho dữ liệu

Thủ công

Theo thời gian

Theo điều kiện

Lịch chạy

Batch

Stream

Chọn một trong hai

Tính toán song song

Lúc nào cũng được sao

Đúng

Vũ trụ song song

Điện toán đám mây

Mờ trong mây

Tính toán

Cơ sở dữ liệu

Nơi mình thuộc về

Chúng ta là những nhà vô địch

Di chuyển và xử lý dữ liệu

Lexicon

Course Glossary: Understanding Data Engineering

Vào năm 2019, mức lương trung bình của kỹ sư dữ liệu đã vượt qua Nhà khoa học dữ liệu. Chuyện này đã xảy ra như thế nào? Các công ty muốn tìm vàng trong dữ liệu của mình đã nhận ra rằng điều đó là không thể nếu họ chưa xây dựng mỏ. Các kỹ sư dữ liệu xây dựng nền tảng giúp Khoa học dữ liệu trở nên khả thi.
<br /> <br />
Trong khóa học này, bạn sẽ tìm hiểu về các trách nhiệm cốt lõi của một kỹ sư dữ liệu, cách họ khác với Nhà khoa học dữ liệu, và cách họ thúc đẩy dòng chảy dữ liệu trong một tổ chức. Thông qua các bài tập thực hành, bạn sẽ theo dõi Spotflix, một công ty phát nhạc trực tuyến giả tưởng, để hiểu cách các kỹ sư dữ liệu của họ thu thập, làm sạch và phân loại dữ liệu của mình. Vào cuối khóa học, bạn sẽ hiểu công việc của các kỹ sư dữ liệu trong công ty mình, sẵn sàng trò chuyện với một kỹ sư dữ liệu và có nền tảng vững chắc để bắt đầu hành trình trở thành kỹ sư dữ liệu của riêng bạn.

Video có phụ đề trực tiếp, bạn có thể truy cập bằng cách nhấp vào "Hiển thị phụ đề" ở góc dưới bên trái của video.

Bảng thuật ngữ của khóa học nằm bên phải trong phần tài liệu.

Để nhận tín chỉ CPE, bạn cần hoàn thành khóa học và đạt tối thiểu 70% ở bài đánh giá đủ điều kiện. Bạn có thể mở bài đánh giá bằng cách nhấp vào khung thông tin CPE credits ở bên phải.

<h2> Hiểu các khái niệm cơ bản về Kỹ thuật dữ liệu </h2>
<br>
Trong khóa học này, quý vị sẽ tìm hiểu về các trách nhiệm chính của một kỹ sư dữ liệu, sự khác biệt giữa họ và các nhà khoa học dữ liệu, cũng như cách họ hỗ trợ việc lưu chuyển dữ liệu trong tổ chức. Thông qua các bài tập thực hành, quý vị sẽ theo dõi Spotflix, một công ty phát trực tuyến âm nhạc hư cấu, để hiểu cách các kỹ sư dữ liệu của họ thu thập, làm sạch và phân loại dữ liệu của mình. 
<br><br>
<h2> Áp dụng trong các trường hợp cá nhân</h2>
<br>
Sau khi hoàn thành khóa học, quý vị sẽ hiểu rõ vai trò của các kỹ sư dữ liệu trong công ty, có khả năng trao đổi chuyên môn với một kỹ sư dữ liệu, và có nền tảng vững chắc để bắt đầu hành trình trở thành kỹ sư dữ liệu của riêng mình.

Khám phá cách kỹ sư dữ liệu tạo nền tảng cho khoa học dữ liệu. Không cần mã hóa!

Tìm hiểu Data Engineering

Khám phá cách các kỹ sư dữ liệu xây dựng nền tảng cơ bản để khoa học dữ liệu trở nên khả thi. Không cần viết mã!

Kỹ sư Dữ liệu Hỗ trợ trong SQL

Chuyên viên phân tích dữ liệu trong Databricks

Hiểu về các chủ đề dữ liệu

Chạy pipeline mã hóa bài hát vì nhóm kỹ thuật đã thay đổi bộ mã hóa và muốn đảm bảo vẫn vượt qua bước kiểm tra xác thực.

Tạo Spotflix Weekly Playlist từ Chương 1 vào mỗi thứ Hai lúc 00:00 AM.

Xử lý video âm nhạc do nghệ sĩ tải lên mỗi giờ.

Thu thập dữ liệu từ Google Analytics vào mỗi buổi sáng để kiểm tra hiệu quả chiến dịch quảng bá.

Chạy các kiểm tra xác thực nếu có video mới được thu thập.

Cập nhật số lượng người theo dõi trong bảng playlist sau khi một người dùng đăng ký theo dõi.

Lịch chạy

Tìm hiểu Data Engineering

Bài tập tương tác thực hành