Hiệp phương sai và Tương quan

Hiệp phương sai đo lường việc hai biến có thay đổi ("biến thiên") cùng nhau hay không. Nó được tính bằng cách lấy tích theo từng điểm của các độ lệch trong bài trước, dx[n]*dy[n], rồi tìm trung bình của tất cả các tích đó.

Về bản chất, tương quan là hiệp phương sai đã được chuẩn hóa. Trong bài này, bạn được cung cấp hai mảng dữ liệu có tương quan rất cao, và bạn sẽ trực quan hóa cũng như tính toán cả covariance và correlation.

Bài tập này là một phần của khóa học

Nhập môn Mô hình tuyến tính với Python

Xem khóa học

Hướng dẫn bài tập

Tính các độ lệch dx và dy bằng cách trừ đi giá trị trung bình với np.mean(), và tính covariance là giá trị trung bình của tích dx*dy.
Tính các độ lệch đã chuẩn hóa zx và zy bằng cách chia cho độ lệch chuẩn với np.std(), và tính correlation là giá trị trung bình của tích zx*zy.
Dùng plot_normalized_deviations(zx, zy) để vẽ tích của các độ lệch đã chuẩn hóa và kiểm tra trực quan so với giá trị tương quan.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Compute the covariance from the deviations.
dx = x - np.____(x)
dy = y - np.____(y)
covariance = np.____(____ * ____)
print("Covariance: ", covariance)

# Compute the correlation from the normalized deviations.
zx = dx / np.____(x)
zy = dy / np.____(y)
correlation = np.____(____ * ____)
print("Correlation: ", correlation)

# Plot the normalized deviations for visual inspection. 
fig = plot_normalized_deviations(zx, zy)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Nhập môn Mô hình tuyến tính với Python

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chúng ta bắt đầu khóa học bằng việc khám phá ban đầu các mối quan hệ tuyến tính, bao gồm một số ví dụ truyền cảm hứng về cách mô hình tuyến tính được sử dụng và minh họa các phương pháp trực quan hóa dữ liệu từ matplotlib. Sau đó, chúng ta dùng thống kê mô tả để định lượng hình dạng dữ liệu và dùng tương quan để định lượng độ mạnh của mối quan hệ tuyến tính giữa hai biến.

Exercise 1: Giới thiệu về mô hình hóa dữ liệu Exercise 2: Lý do mô hình hóa: Nội suy Exercise 3: Lý do mô hình hóa: Ngoại suy (Extrapolation)Exercise 4: Lý do để Mô hình hóa: Ước lượng Quan hệ Exercise 5: Trực quan hóa các mối quan hệ tuyến tính Exercise 6: Vẽ biểu đồ dữ liệu Exercise 7: Vẽ mô hình lên trên dữ liệu Exercise 8: Ước lượng trực quan độ dốc và hệ số chặn Exercise 9: Định lượng mối quan hệ tuyến tính Exercise 10: Giá trị trung bình, Độ lệch & Độ lệch chuẩn Exercise 11: Hiệp phương sai và Tương quan

Bài tập hiện tại

Exercise 12: Độ mạnh tương quan

Tại đây, chúng ta xem xét các thành phần cấu thành nên một mô hình tuyến tính. Sử dụng khái niệm Chuỗi Taylor, chúng ta tập trung vào các tham số độ dốc (slope) và hệ số chặn (intercept), cách chúng xác định mô hình và cách diễn giải chúng trong nhiều ngữ cảnh ứng dụng. Chúng ta áp dụng nhiều mô-đun Python để tìm mô hình khớp dữ liệu tốt nhất, bằng cách tính các giá trị tối ưu của độ dốc và hệ số chặn, sử dụng bình phương tối thiểu, numpy, statsmodels và scikit-learn.

Exercise 1: Điều gì khiến một mô hình là tuyến tính Exercise 2: Các hạng trong một mô hình Exercise 3: Các thành phần của mô hình Exercise 4: Tham số mô hình Exercise 5: Diễn giải hệ số góc và hệ số chặn Exercise 6: Tỷ lệ tuyến tính Exercise 7: Độ dốc và Tốc độ thay đổi Exercise 8: Hệ số chặn và điểm bắt đầu Exercise 9: Tối ưu hóa mô hình Exercise 10: Tổng bình phương phần dư Exercise 11: Tối thiểu hóa phần dư Exercise 12: Trực quan hóa điểm cực tiểu của RSS Exercise 13: Tối ưu bình phương tối thiểu Exercise 14: Bình phương tối thiểu với `numpy`Exercise 15: Tối ưu hóa với Scipy Exercise 16: Bình phương tối thiểu với `statsmodels`

Tiếp theo, chúng ta sẽ áp dụng mô hình vào dữ liệu thực và tạo dự đoán. Chúng ta sẽ khám phá một số cạm bẫy và giới hạn thường gặp của dự đoán, và đánh giá, so sánh các mô hình bằng cách định lượng và đối chiếu một số thước đo độ phù hợp, bao gồm RMSE và R-squared.

Exercise 1: Mô hình hóa dữ liệu thực Exercise 2: Mô hình tuyến tính trong Nhân học Exercise 3: Mô hình tuyến tính trong Hải dương học Exercise 4: Mô hình tuyến tính trong Vũ trụ học Exercise 5: Giới hạn của dự đoán Exercise 6: Nội suy: Khoảng thời gian ở giữa Exercise 7: Nội suy quá đà: Đi quá giới hạn Exercise 8: Mức độ phù hợp (Goodness-of-Fit)Exercise 9: RMSE từng bước Exercise 10: R-Squared Exercise 11: Sai số chuẩn Exercise 12: Độ biến thiên quanh xu thế Exercise 13: Phân rã phương sai thành hai phần

Ở chương cuối, chúng ta giới thiệu các khái niệm từ thống kê suy luận và sử dụng chúng để tìm hiểu cách ước lượng hợp lý tối đa và bootstrap resampling có thể dùng để ước lượng tham số của mô hình tuyến tính. Sau đó, chúng ta áp dụng các phương pháp này để đưa ra các phát biểu xác suất về mức độ tin cậy đối với các tham số mô hình.

Exercise 1: Các khái niệm về thống kê suy luận Exercise 2: Thống kê mẫu so với tổng thể Exercise 3: Độ biến thiên của thống kê mẫu Exercise 4: Trực quan hóa độ biến thiên của một thống kê Exercise 5: Ước lượng mô hình và Hợp lý Exercise 6: Ước lượng tham số tổng thể Exercise 7: Tối đa hóa Likelihood, Phần 1 Exercise 8: Tối đa hóa khả năng xảy ra (Likelihood), Phần 2 Exercise 9: Độ bất định của mô hình và phân phối mẫu Exercise 10: Bootstrap và Sai số chuẩn Exercise 11: Ước lượng tốc độ và khoảng tin cậy Exercise 12: Trực quan hóa Bootstrap Exercise 13: Sai số mô hình và tính ngẫu nhiên Exercise 14: Thống kê kiểm định và kích thước hiệu ứng Exercise 15: Giả thuyết không Exercise 16: Trực quan hóa thống kê kiểm định Exercise 17: Trực quan hóa P-Value Exercise 18: Kết thúc khóa học