Covariance và Correlation Math probability
lhduc94 2018-09-09 07:07:01 UTC #1
Giới thiệu
Covariance [Hiệp phương sai] và Correlation [Hệ số tương quan] là hai khái niệm trong lĩnh vực xác suất thống kê. Cả hai khái niệm này đều nói về mối quan hệ giữa hai biến với nhau, hay nói cách khác hai chỉ số này dùng để thể hiện sự phụ thuộc giữa hai biến.
Covariance là gì?
Covariance thể hiện mối quan hệ giữa hai biến với nhau, có thể là đồng biến [positive covariance] hoặc nghịch biến [negative covariance].
Định nghĩa : Cho 2 biến ngẫu nhiên X, Y với kì vọng \mu_{X} và \mu_{Y} covariance của X, Y được tính bằng công thức :
Cov[X,Y] = E[[X - \mu_X ][Y - \mu_Y]]
Các tính chất của Covariance :
- Cov[aX + b, cY + d] = acCov[X,Y] với a, b, c, d cho trước
- Cov[X_1 + X_2, Y] = Cov[X_1, Y] + Cov[X_2, Y]
- Cov[X, X] = Var[X]
- Cov[X, Y] = E[XY] - \mu_X\mu_Y
- Var[X, Y] = Var[X] + Var[Y] + 2Cov[X, Y]
- Nếu X, Y độc lập thì Cov[X, Y] = 0.
Lưu ý :
Từ 3 và 4 ta có Var[X] = E[X^2] - \mu^2_x. Nếu X, Y độc lập từ 5 có thể suy ra được Var[X, Y] = Var[X] + Var[Y]. Với 6, điều ngược lại không đúng, nghĩa là Cov[X, Y] = 0 không có nghĩa là X, Y độc lập với nhau. Ví dụ X = [-2 , -1 , 1 , 2] và Y = X^2 = [4 , 1, 1 , 4] khi đó Cov[X, Y] = 0
Correlation là gì?
Để thể hiện mối quan hệ giữa 2 biến là mạnh hay yếu, chúng ta sử dụng correlation thay cho covariance.
Định nghĩa : Correlation coefficient của hai biến X và Y được tính theo công thức
Cor[X, Y] = \rho = \frac{Cov[X, Y]}{\sigma_X\sigma_Y}
Các tính chất của Corelation :
- Correlation là Covariance được chuẩn hóa của hai biến X, Y
- Correlation thể hiện một tỉ lệ, do đó nó không có đơn vị đo
- -1 \leq \rho \leq 1\rho = -1 khi và chỉ khi Y = aX + b và a < 0 và \rho = 1 khi và chỉ khi Y = aX + b và a > 0
Chứng minh tính chất 3 :
0 \leq Var[\frac{X}{\sigma_X} - \frac{Y}{\sigma_Y}] = Var[\frac{X}{\sigma_X}] + Var[\frac{Y}{\sigma_Y}] - 2Cov[\frac{X}{\sigma_X}, \frac{Y}{\sigma_Y}] = 2 - 2\rho \Rightarrow \rho \leq 1.
Tương tự 0 \leq Var[\frac{X}{\sigma_X} + \frac{Y}{\sigma_Y}] \Rightarrow \rho \geqslant -1
Biểu diễn mối quan hệ X, và Y với giá trị rho [correlation]
screenshot-from-2018-03-07-14-17-40.png665×793 96.6 KB
So sánh giữa covariance và correlation
- Cả covariance và correlation đều thể hiện mối quan hệ giữa hai biến.
- Covariance có range từ -\infty đến +\infty . Correlation nằm trong khoảng từ - 1 đến 1.
- Covariance thể hiện mối quan hệ giữa hai biến, correlation thể hiện được mối quan hệ giữa hai hoặc nhiều biến.
Ví dụ
Tập dữ liệu view của 2 kênh truyền hình tại 1 thời điểm [20h - 21h thứ năm mỗi tuần] trong 1 tháng là
- X = [50772, 73756, 74251, 77601]
- Y = [102492, 100406, 97762, 98191]
Ta tiến hành tính các thông số cơ bản
- Mean_X = [50772 + 73756 + 74251 + 77601]/ 4 = 69095.00
- Mean Y = 99712.75
- std_X^2 = [[50772 - Mean_X]^2 +[73756 - Mean_X]^2 + ] / 4 = 114098405.5 => std_X = 10681.69
- std_Y = 1892.48
Từ đó ta tính covariance và correlation
- Cov[X, Y] = [[50772 - 69095.00] * [102492 - 99712.75] + [73756 - 69095.00] * [100406 - 99712.75] + ] / 4 = -17673758.0
- Corr [X,Y ] = Cov[X, Y] / [std_X * std_Y] = -17673758.0 / [ 10681.69 * 1892.48] = -0.87
[10/18/2018 22:51] Chẳng là m đang làm đồ án. Đề tài về Random . . .
nguyen 2018-09-10 16:25:43 UTC #2
Em đọc bài thì đoán bác là dân xử lý tín hiệu đúng không
. Tính chất 3 phần correlation bác viết em đọc hơi hiểu nhầm chút do có 1 chỗ bác dùng từ và nhầm thì phải
nguyen 2018-09-10 16:30:57 UTC #3
Em cũng có tìm hiểu một chút về correlation noise model nên cũng có hứng thú phần này. Xin phép đóng góp 1 video cá nhân em nghĩ là khá hay cho topic
lhduc94 2018-09-11 04:17:47 UTC #4
nguyen:
Em cũng có tìm hiểu một chút về correlation noise model nên cũng có hứng thú phần này. Xin phép đóng góp 1 video cá nhân em nghĩ là khá hay cho topic
//youtu.be/KDw3hC2YNFc
Cảm ơn bạn đã chia sẻ, việc tính correlation nhằm giảm bớt feature trong quá trình feature engineering, giúp model mình chạy tốt hơn, mình thấy trên forum khá ít bạn làm về Data science, toàn Computer Vison là chủ yếu.
Trang chủ Chuyên mục FAQ/Hướng dẫn Điều khoản Dịch vụ Chính sách Riêng tư
Powered by Discourse, best viewed with JavaScript enabled