Tầm quan trọng của EDA

Tại sao phân tích khám phá dữ liệu (EDA) nên là bước đầu tiên khi phân tích dữ liệu (sau khi bạn đã nhập và làm sạch dữ liệu, dĩ nhiên)?

Bài tập này là một phần của khóa học

Tư duy Thống kê với Python (Phần 2)

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập

Bài tập này là một phần của khóa học

Tư duy Thống kê với Python (Phần 2)

SkillTag.level.intermediateSkillTag.label

4.8+

256 reviews

Bắt đầu khóa học miễn phí

Khi thực hiện suy luận thống kê, chúng ta nói bằng ngôn ngữ của xác suất. Một phân phối xác suất mô tả dữ liệu của bạn có các tham số. Vì vậy, mục tiêu lớn của suy luận thống kê là ước lượng giá trị của các tham số này, giúp chúng ta mô tả dữ liệu một cách súc tích, rõ ràng và rút ra kết luận từ đó. Trong chương này, bạn sẽ học cách tìm các tham số tối ưu, tức là những tham số mô tả dữ liệu của bạn tốt nhất.

Exercise 1: Tham số tối ưu Exercise 2: Tần suất xảy ra no-hitter là bao nhiêu?Exercise 3: Dữ liệu có khớp với câu chuyện của chúng ta không?Exercise 4: Tại sao tham số này là tối ưu?Exercise 5: Hồi quy tuyến tính bằng bình phương tối thiểu Exercise 6: EDA cho dữ liệu biết chữ/sinh suất Exercise 7: Hồi quy tuyến tính Exercise 8: Tối ưu ở chỗ nào?Exercise 9: Tầm quan trọng của EDA: Bộ tứ của Anscombe Exercise 10: Tầm quan trọng của EDA

Bài tập hiện tại

Exercise 11: Hồi quy tuyến tính trên dữ liệu Anscombe phù hợp Exercise 12: Hồi quy tuyến tính trên toàn bộ dữ liệu Anscombe

Thành ngữ "pull yourself up by your bootstraps" ám chỉ việc tự mình đạt được một nhiệm vụ khó khăn mà không có bất kỳ trợ giúp nào. Trong suy luận thống kê, bạn muốn biết điều gì sẽ xảy ra nếu có thể lặp lại quá trình thu thập dữ liệu vô số lần. Nhiệm vụ này là bất khả thi, nhưng liệu chúng ta chỉ dùng dữ liệu hiện có để tiệm cận kết quả tương đương với vô vàn thí nghiệm không? Câu trả lời là có! Kỹ thuật thực hiện điều đó được gọi rất đúng là bootstrapping. Chương này sẽ giới thiệu cho bạn công cụ cực kỳ mạnh mẽ này.

Exercise 1: Tạo bản sao bootstrap Exercise 2: Nắm vững thuật ngữ Exercise 3: Tự tay thực hiện bootstrapping Exercise 4: Trực quan hóa các mẫu bootstrap Exercise 5: Khoảng tin cậy bootstrap Exercise 6: Tạo nhiều bản sao bootstrap Exercise 7: Bootstrap replicate của trung bình và SEM Exercise 8: Khoảng tin cậy của dữ liệu lượng mưa Exercise 9: Bootstrap cho các thống kê khác Exercise 10: Khoảng tin cậy cho tốc độ trận không nhượng hit (no-hitter)Exercise 11: Bootstrap theo cặp Exercise 12: Hàm thực hiện pairs bootstrap Exercise 13: Bootstrap theo cặp cho dữ liệu biết chữ/sinh sản Exercise 14: Vẽ các hồi quy bootstrap

Giờ đây bạn đã biết cách định nghĩa và ước lượng tham số dựa trên một mô hình. Nhưng câu hỏi đặt ra là: việc quan sát dữ liệu của bạn có hợp lý không nếu mô hình là đúng? Câu hỏi này được giải quyết bằng kiểm định giả thuyết. Chúng là lớp kem phủ lên chiếc bánh suy luận. Sau khi hoàn thành chương này, bạn sẽ có thể xây dựng và kiểm định giả thuyết một cách cẩn trọng bằng hacker statistics.

Exercise 1: Xây dựng giả thuyết và mô phỏng kiểm định Exercise 2: Tạo một mẫu hoán vị (permutation sample)Exercise 3: Trực quan hóa lấy mẫu hoán vị Exercise 4: Thống kê kiểm định và giá trị p Exercise 5: Thống kê kiểm định Exercise 6: Giá trị p là gì?Exercise 7: Tạo các bản sao hoán vị (permutation replicates)Exercise 8: Nhìn trước khi nhảy: EDA trước khi kiểm định giả thuyết Exercise 9: Kiểm định hoán vị trên dữ liệu loài ếch Exercise 10: Kiểm định giả thuyết bằng bootstrap Exercise 11: Kiểm định giả thuyết bootstrap một mẫu Exercise 12: Kiểm định giả thuyết bootstrap hai mẫu cho chênh lệch trung bình

Như bạn đã thấy ở chương trước, kiểm định giả thuyết có thể hơi phức tạp. Bạn cần xác định giả thuyết không, tìm cách mô phỏng nó, và định nghĩa rõ ràng thế nào là "cực đoan hơn" để tính p-value. Giống như mọi kỹ năng, luyện tập giúp bạn thành thạo, và chương này sẽ cho bạn cơ hội thực hành tốt với các kiểm định giả thuyết.

Exercise 1: Kiểm thử A/B Exercise 2: Cuộc bỏ phiếu về Đạo luật Dân quyền năm 1964 Exercise 3: Tình huống nào tương đương?Exercise 4: Tương tự: thời gian trên website Exercise 5: Bạn lẽ ra nên làm gì trước tiên?Exercise 6: Kiểm định tương quan Exercise 7: Mô phỏng giả thuyết không về tương quan Exercise 8: Kiểm định giả thuyết với tương quan Pearson Exercise 9: Thuốc trừ sâu neonicotinoid có gây hệ quả ngoài ý muốn?Exercise 10: Kiểm định giả thuyết bootstrap về số lượng tinh trùng ong

Trong hơn 40 năm qua, Peter và Rosemary Grant hằng năm đều đến đảo Daphne Major thuộc quần đảo Galápagos để thu thập dữ liệu về chim sẻ của Darwin. Vận dụng kỹ năng suy luận thống kê, bạn sẽ dành chương này để làm việc với dữ liệu của họ và trực tiếp chứng kiến, thông qua dữ liệu, tiến hóa đang diễn ra. Đây là một cách đầy hứng khởi để khép lại khóa học!

Exercise 1: Mỏ chim sẻ và nhu cầu về thống kê Exercise 2: Khám phá dữ liệu (EDA) độ sâu mỏ của chim sẻ Darwin Exercise 3: ECDF của độ sâu mỏ Exercise 4: Ước lượng tham số độ sâu mỏ Exercise 5: Kiểm định giả thuyết: Mỏ sâu hơn vào năm 2012?Exercise 6: Sự khác biệt về hình dạng mỏ Exercise 7: EDA về chiều dài và độ sâu mỏ Exercise 8: Hồi quy tuyến tính Exercise 9: Hiển thị kết quả hồi quy tuyến tính Exercise 10: Tỉ lệ chiều dài mỏ so với độ sâu mỏ Exercise 11: Tỷ lệ khác nhau đến mức nào?Exercise 12: Tính toán hệ số di truyền (heritability)Exercise 13: EDA về tính di truyền Exercise 14: Tương quan giữa dữ liệu con và bố mẹ Exercise 15: Tương quan Pearson giữa dữ liệu con non và bố mẹ Exercise 16: Đo lường hệ số di truyền Exercise 17: Độ sâu mỏ có di truyền ở G. scandens hay không?Exercise 18: Lời kết