Xây dựng snapshot model trong dbt

Chúng ta đã tập trung xây dựng và gỡ lỗi các mart model để đơn giản hóa truy vấn SQL bằng cách tiền xử lý các bảng sao cho là duy nhất theo khách hàng và sản phẩm.

Một loại chuyển đổi khác rất hữu ích để đưa vào dbt model là các snapshot model. Đúng như tên gọi, các model này chụp lại dữ liệu theo thời điểm, giúp người dùng cuối luôn có thể “quay ngược thời gian” để xem trạng thái dữ liệu tại một ngày nhất định.

Trong bài tập này, bạn sẽ xây dựng hai snapshot model: một model để theo dõi thay đổi đơn hàng hằng ngày và một model để theo dõi thay đổi tồn kho hằng ngày. Điều này sẽ giúp người dùng cuối trả lời các câu hỏi như:

Tồn kho của tôi đã thay đổi thế nào theo thời gian?
Khối lượng đơn hàng của tôi đã thay đổi thế nào theo thời gian?

Bài tập này là một phần của khóa học

Nghiên cứu tình huống: Xây dựng mô hình dữ liệu E-Commerce với dbt

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập

Bài tập này là một phần của khóa học

Nghiên cứu tình huống: Xây dựng mô hình dữ liệu E-Commerce với dbt

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Thực hành xây dựng một dự án dbt từ con số 0. Vận dụng kỹ năng để nạp các loại dữ liệu khác nhau vào dự án dbt và thiết lập nhiều mô hình staging. Chương này tập trung vào phần E và L trong quy trình ELT.

Exercise 1: Giới thiệu case study về dbt Exercise 2: Kiểm tra cài đặt dbt Exercise 3: Khởi tạo dự án dbt Exercise 4: Thiết lập dự án dbt và nạp dữ liệu Exercise 5: Tải distribution center dưới dạng tệp seed của dbt Exercise 6: Tạo model staging cho trung tâm phân phối Exercise 7: Tải và tạo model người dùng qua dbt source Exercise 8: Luyện tập thêm với dbt source và mô hình staging Exercise 9: Gỡ lỗi các lỗi thường gặp

Đi sâu vào chi tiết của mô hình hóa dữ liệu với dbt. Xây dựng pipeline dữ liệu từ các mô hình staging ban đầu đến các mô hình data mart cuối cùng để trả lời nhu cầu kinh doanh trọng yếu. Đồng thời, bạn sẽ rèn luyện tạo các bài kiểm thử dữ liệu nhằm đặt rào chắn chống trôi chất lượng dữ liệu.

Exercise 1: Tạo mô tả và kiểm thử trong dbt Exercise 2: Thêm mô tả cột trong dbt Exercise 3: Thêm các kiểm thử cột trong dbt Exercise 4: Xây dựng data mart và snapshot model trong dbt Exercise 5: Ôn nhanh hệ phân cấp mô hình dbt Exercise 6: Tạo mô hình mart cho customers Exercise 7: Tạo mô hình mart cho products Exercise 8: Gỡ lỗi các lỗi thường gặp Exercise 9: Gỡ lỗi thêm một số lỗi Exercise 10: Xây dựng snapshot model trong dbt

Bài tập hiện tại

Học cách nâng cấp dự án dbt với Jinja bằng cách tinh gọn mã, giảm lặp lại và cải thiện khả năng bảo trì. Bạn sẽ thực hành dùng biến, vòng lặp và macro để xây dựng quy trình chuyển đổi hiệu quả hơn.

Exercise 1: Giới thiệu Jinja với dbt Exercise 2: Khởi động với dbt compile Exercise 3: Khởi động với dbt compile 2 Exercise 4: Dùng dbt compile để debug Exercise 5: Thiết lập biến với dbt Jinja Exercise 6: Thiết lập biến với dbt Jinja 2 Exercise 7: Sử dụng jinja nâng cao với dbt Exercise 8: Dùng vòng lặp Jinja cho SQL lặp lại 1 Exercise 9: Dùng vòng lặp Jinja cho SQL lặp lại 2 Exercise 10: Macro với Jinja Exercise 11: Cắt khoảng trắng với Jinja Exercise 12: Tổng kết: nghiên cứu tình huống dbt