Thiết kế thí nghiệm: thiết lập các tham số kiểm thử

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Bài tập này là một phần của khóa học

A/B Testing bằng Python

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Trong chương này, bạn sẽ học nền tảng của A/B testing. Bạn sẽ khám phá các bước rõ ràng và các tình huống sử dụng, tìm hiểu lý do và giá trị của việc thiết kế và chạy A/B test, và khám phá các khuôn khổ thiết kế chỉ số và ước lượng được dùng phổ biến nhất.

Exercise 1: A/B testing là gì?Exercise 2: Khi A/B test không phải là lựa chọn tối ưu Exercise 3: Các bước A/B testing Exercise 4: Tác động của ngẫu nhiên hóa Exercise 5: Vì sao cần chạy thí nghiệm?Exercise 6: Trực quan hóa tương quan Exercise 7: Tương quan hay quan hệ nhân quả?Exercise 8: Thiết kế chỉ số và ước lượng Exercise 9: Giá trị trung bình và tỷ lệ Exercise 10: Chỉ số hiển thị quảng cáo

Ở Chương 2, bạn sẽ tìm hiểu quy trình thiết kế thí nghiệm. Bắt đầu từ việc xây dựng giả thuyết A/B test vững chắc, bạn cũng sẽ bao quát các khái niệm thống kê như power, tỷ lệ sai sót, và hiệu ứng tối thiểu có thể phát hiện. Bạn sẽ kết thúc chương bằng cách học cách ước lượng cỡ mẫu phù hợp để có kết quả kết luận được và xử lý các kịch bản so sánh bội.

Exercise 1: Xây dựng giả thuyết và các phân phối Exercise 2: Xây dựng giả thuyết mạnh Exercise 3: Vẽ các phân phối Exercise 4: Định lý giới hạn trung tâm cho trung bình Exercise 5: Thiết kế thí nghiệm: thiết lập các tham số kiểm thử

Bài tập hiện tại

Exercise 6: Diễn giải giá trị p Exercise 7: Tỷ lệ lỗi ngoài thực tế Exercise 8: Thiết kế thí nghiệm: phân tích power Exercise 9: Vẽ đường cong power Exercise 10: Cỡ mẫu cho trung bình Exercise 11: Cỡ mẫu cho tỷ lệ (proportions)Exercise 12: Kiểm định so sánh đa bội Exercise 13: Có cần hiệu chỉnh cho so sánh đa bội không?Exercise 14: p-value đã được hiệu chỉnh

Tại đây, bạn sẽ khám phá quy trình cụ thể để làm sạch, tiền xử lý và khám phá dữ liệu A/B testing, cũng như học các kiểm tra tính hợp lệ cần thiết để đảm bảo kết quả đáng tin cậy. Bạn sẽ tìm hiểu giải thích chi tiết và ví dụ về phân tích A/B test khác biệt về tỷ lệ.

Exercise 1: Làm sạch dữ liệu và phân tích thăm dò Exercise 2: Khám phá tỉ lệ (Proportions EDA)Exercise 3: Làm sạch dữ liệu A/B test Exercise 4: Kiểm tra độ tin cậy: Tính hợp lệ nội bộ Exercise 5: SRM Exercise 6: Cân bằng phân phối Exercise 7: Kiểm tra hợp lệ: giá trị bên ngoài Exercise 8: Phát hiện hiệu ứng mới lạ (novelty effects)Exercise 9: Nghịch lý Simpson trong thực tế Exercise 10: Phân tích kiểm định A/B về chênh lệch tỷ lệ Exercise 11: Kiểm định A/B về chênh lệch tỷ lệ Exercise 12: Diễn giải khoảng tin cậy Exercise 13: Khoảng tin cậy cho tỷ lệ

Trong chương cuối, bạn sẽ xây dựng các khuôn khổ để phân tích khác biệt về trung bình và vận dụng các kiểm định phi tham số khi nhiều giả định không được đáp ứng. Bạn cũng sẽ học cách áp dụng phương pháp Delta khi phân tích các chỉ số dạng tỷ lệ và khám phá các thực hành tốt nhất cùng một số chủ đề nâng cao để tiếp tục hành trình làm chủ A/B testing.

Exercise 1: Phân tích chênh lệch trung bình trong A/B test Exercise 2: T-test cho sự khác biệt về trung bình Exercise 3: Kiểm định t theo cặp (pairwise t-tests)Exercise 4: Các kiểm định thống kê phi tham số Exercise 5: Tham số hay phi tham số?Exercise 6: Kiểm định Mann-Whitney U Exercise 7: Kiểm định chi-bình phương về tính độc lập Exercise 8: Chỉ số dạng tỷ lệ và phương pháp delta Exercise 9: Dùng Delta hay không?Exercise 10: Phương pháp Delta Exercise 11: Mở đầu: Thực hành tốt nhất và chủ đề nâng cao trong A/B Testing Exercise 12: Thực hành tốt nhất Exercise 13: Hiệu ứng theo ngày trong tuần Exercise 14: Tổng kết: A/B testing với Python