Hệ số tương quan thứ tự xếp hạng Spearman là thước đo phi tham số về tính đơn điệu của mối quan hệ giữa hai bộ dữ liệu. Không giống như tương quan Pearson, tương quan Spearman không giả định rằng cả hai bộ dữ liệu đều có phân phối chuẩn. Giống như các hệ số tương quan khác, hệ số này thay đổi trong khoảng từ -1 đến +1 với 0 có nghĩa là không có tương quan. Mối tương quan -1 hoặc +1 ngụ ý một mối quan hệ đơn điệu chính xác. Mối tương quan tích cực ngụ ý rằng khi x tăng, thì y cũng vậy. Mối tương quan tiêu cực ngụ ý rằng khi x tăng, y giảm
Giá trị p biểu thị gần đúng xác suất của một hệ thống không tương quan tạo ra các tập dữ liệu có tương quan Spearman ít nhất là cực đoan như xác suất được tính toán từ các tập dữ liệu này. Giá trị p không hoàn toàn đáng tin cậy nhưng có thể hợp lý đối với các bộ dữ liệu lớn hơn 500 hoặc hơn
Tham sốsa, b Giống như mảng 1D hoặc 2D, b là tùy chọnMột hoặc hai mảng 1-D hoặc 2-D chứa nhiều biến và quan sát. Khi đây là 1-D, mỗi đại diện cho một vectơ quan sát của một biến duy nhất. Đối với hành vi trong trường hợp 2-D, xem phần
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Nếu trục=0 [mặc định], thì mỗi cột đại diện cho một biến, với các quan sát trong các hàng. Nếu trục = 1, mối quan hệ được chuyển đổi. mỗi hàng đại diện cho một biến, trong khi các cột chứa các quan sát. Nếu trục=Không, thì cả hai mảng sẽ bị chia nhỏ
nan_policy {'lan truyền', 'nâng cao', 'bỏ qua'}, tùy chọnXác định cách xử lý khi đầu vào chứa nan. Có các tùy chọn sau [mặc định là 'lan truyền']
'tuyên truyền'. trở về nan
'Quyên góp'. ném một lỗi
'bỏ sót'. thực hiện các tính toán bỏ qua các giá trị nan
Xác định giả thuyết thay thế. Mặc định là 'hai mặt'. Lựa chọn tiếp theo đã khả thi
'hai mặt'. tương quan là khác không
'ít hơn'. tương quan âm [nhỏ hơn 0]
'lớn hơn'. tương quan là tích cực [lớn hơn 0]
Mới trong phiên bản 1. 7. 0
Tương quan trả về float hoặc ndarray [hình vuông 2 chiều]Ma trận tương quan Spearman hoặc hệ số tương quan [nếu chỉ đưa 2 biến làm tham số. Ma trận tương quan là hình vuông có độ dài bằng tổng số biến [cột hoặc hàng] trong
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Giá trị p cho một thử nghiệm giả thuyết có giả thuyết không là hai bộ dữ liệu không tương quan với nhau. Xem thay thế ở trên cho các giả thuyết thay thế. giá trị p có hình dạng tương tự như tương quan
cảnh báoTăng lên nếu một đầu vào là một mảng không đổi. Hệ số tương quan không được xác định trong trường hợp này, vì vậy
X Y
X 1.0 -0.7
Y -0.7 1.0
Người giới thiệu
1Zwillinger, Đ. và Kokoska, S. [2000]. Bảng và công thức xác suất và thống kê tiêu chuẩn CRC. Chapman & Hội trường. Newyork. 2000. Phần 14. 7
Mối tương quan của Spearman là dữ liệu thống kê rất quan trọng mà chúng ta cần nhiều lần. Chúng ta có thể tính toán thủ công nhưng mất thời gian
Vì vậy, đây là công thức về cách chúng ta có thể xác định mối tương quan của Spearman trong Python
Bước 1 - Nhập thư viện
X Y
X 1.0 -0.7
Y -0.7 1.0
Chúng tôi đã nhập số liệu thống kê, seaborn và gấu trúc cần thiết
Bước 2 - Tạo một khung dữ liệu
Chúng tôi đã tạo một khung dữ liệu trống và sau đó thêm các hàng vào đó bằng các số ngẫu nhiên.
X Y
X 1.0 -0.7
Y -0.7 1.0
Bước 3 - Tính hệ số tương quan của Spearman
Chúng tôi đã xác định một chức năng với các bước khác nhau mà chúng tôi sẽ thấy
- Chúng tôi đã tính thứ hạng của x và y và chuyển nó vào hàm scipy. số liệu thống kê. giáo chủ[]
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Vẽ đồ thị hồi quy
Chúng tôi đang vẽ biểu đồ hồi quy với sự phù hợp.
X Y
X 1.0 -0.7
Y -0.7 1.0
x y 0 90 79 1 50 14 2 47 52 3 74 67 4 54 33 spearmans_rank_correlation is: 0.21755334281650068
Hướng dẫn này giới thiệu về hệ số tương quan xếp hạng của Spearman, tính toán toán học của nó và tính toán của nó thông qua thư viện
X Y
X 1.0 -0.7
Y -0.7 1.0
Hệ số tương quan xếp hạng Spearman là gì?
Tương quan xếp hạng Spearman có liên quan chặt chẽ với tương quan Pearson và cả hai đều là một giá trị giới hạn, từ
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Nếu bạn muốn đọc thêm về hệ số tương quan thay thế - hãy đọc Hướng dẫn về Hệ số tương quan Pearson trong Python của chúng tôi
Hệ số tương quan Pearson được tính bằng cách sử dụng các giá trị dữ liệu thô, trong khi đó, hệ số tương quan Spearman được tính từ thứ hạng của các giá trị riêng lẻ. Trong khi hệ số tương quan Pearson là thước đo mối quan hệ tuyến tính giữa hai biến, thì hệ số tương quan xếp hạng Spearman đo lường mối quan hệ đơn điệu giữa một cặp biến. Để hiểu tương quan Spearman, chúng ta cần hiểu cơ bản về các hàm đơn điệu
Hàm đơn điệu
Có các hàm đơn điệu tăng, đơn điệu giảm và không đơn điệu
Đối với hàm tăng đơn điệu, khi X tăng, Y cũng tăng [và nó không nhất thiết phải tuyến tính]. Đối với hàm giảm đơn điệu, khi một biến tăng thì biến kia giảm [cũng không nhất thiết phải là tuyến tính]. Hàm không đơn điệu là khi giá trị của một biến tăng đôi khi có thể dẫn đến tăng và đôi khi dẫn đến giảm giá trị của biến kia
Hệ số tương quan hạng Spearman đo lường mối quan hệ đơn điệu giữa hai biến. Các giá trị của nó nằm trong khoảng từ -1 đến +1 và có thể được hiểu là
- +1. Mối quan hệ tăng dần đơn điệu hoàn hảo
- +0. 8. Mối quan hệ tăng đơn điệu mạnh mẽ
- +0. 2. Mối quan hệ tăng đơn điệu yếu
- 0. quan hệ không đơn điệu
- -0. 2. Mối quan hệ giảm đơn điệu yếu
- -0. 8. Mối quan hệ giảm đơn điệu mạnh mẽ
- -1. Mối quan hệ giảm dần đơn điệu hoàn hảo
biểu thức toán học
Giả sử chúng ta có quan sát \[n\] của hai biến ngẫu nhiên, \[X\] và \[Y\]. Trước tiên, chúng tôi xếp hạng tất cả các giá trị của cả hai biến lần lượt là \[X_r\] và \[Y_r\]. Hệ số tương quan xếp hạng Spearman được ký hiệu là \[r_s\] và được tính bằng
$$
r_s = \rho_{X_r,Y_r} = \frac{\text{COV}[X_r,Y_r]}{\text{STD}[X_r]\
$$
Ở đây,
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Tính toán ví dụ
Giả sử chúng ta được cung cấp một số quan sát về các biến ngẫu nhiên \[X\] và \[Y\]. Bước đầu tiên là chuyển đổi \[X\] và \[Y\] thành \[X_r\] và \[Y_r\], đại diện cho thứ hạng tương ứng của chúng. Một vài giá trị trung gian cũng sẽ cần thiết, được hiển thị bên dưới
X=[−2−1012]TY=[41320]TXr=[12345]TYr=[52431]TXr2=[1491625]TYr2=[2541691]TXrYr=[5412125]THãy sử dụng công thức từ trước để tính tương quan Spearman
rs=5∗38−[15][15][5∗55−152][5∗55−152]=181532=−0. 7Tuyệt quá. Mặc dù vậy, việc tính toán thủ công này rất tốn thời gian và cách sử dụng máy tính tốt nhất là để tính toán mọi thứ cho chúng ta. Tính toán tương quan Spearman thực sự dễ dàng và đơn giản với các hàm tích hợp trong Pandas
Tính toán hệ số tương quan xếp hạng Spearman bằng Pandas
Các hệ số tương quan khác nhau, bao gồm cả Spearman, có thể được tính toán thông qua phương pháp
8 của thư viện PandasX Y X 1.0 -0.7 Y -0.7 1.0
Là một đối số đầu vào, hàm
X Y
X 1.0 -0.7
Y -0.7 1.0
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
Đối với biến ngẫu nhiên
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
X Y
X 1.0 -0.7
Y -0.7 1.0
Lưu ý rằng ma trận tương quan là đối xứng vì tương quan là đối xứng, i. e. ,
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Chúng tôi sẽ sử dụng Pandas để tính toán, Matplotlib với Seaborn để trực quan hóa và Numpy cho các hoạt động bổ sung trên dữ liệu
Đoạn mã dưới đây tính toán ma trận tương quan Spearman trên khung dữ liệu
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Hình dung hệ số tương quan
Với cấu trúc giống như bảng của cường độ giới hạn,
X Y
X 1.0 -0.7
Y -0.7 1.0
Nếu bạn muốn đọc thêm về bản đồ nhiệt trong Seaborn, hãy đọc Hướng dẫn cơ bản về bản đồ nhiệt trong Seaborn bằng Python của chúng tôi
Bản đồ nhiệt là một lưới các ô, trong đó mỗi ô được gán một màu theo giá trị của nó và cách diễn giải ma trận tương quan trực quan này dễ dàng hơn nhiều so với phân tích số. Đối với các bảng nhỏ như bảng đã xuất trước đó - điều đó hoàn toàn ổn. Nhưng với rất nhiều biến số, thật khó để diễn giải những gì đang diễn ra
Hãy xác định một hàm
X Y
X 1.0 -0.7
Y -0.7 1.0
Hãy gọi
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Hiểu hệ số tương quan của Spearman trên các ví dụ tổng hợp
Để hiểu hệ số tương quan Spearman, hãy tạo một vài ví dụ tổng hợp làm nổi bật cách thức hoạt động của hệ số - trước khi chúng ta đi sâu vào các ví dụ tự nhiên hơn. Những ví dụ này sẽ giúp chúng tôi hiểu, đối với loại mối quan hệ nào, hệ số này là +1, -1 hoặc gần bằng không
Trước khi tạo các ví dụ, chúng ta sẽ tạo một hàm trợ giúp mới,
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Chức năng tăng đơn điệu
Hãy tạo một vài hàm tăng đơn điệu, sử dụng Numpy và xem qua
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
Bây giờ, hãy xem bản đồ nhiệt của mối tương quan Spearman và biểu đồ của các chức năng khác nhau đối với
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Chúng ta có thể thấy rằng đối với tất cả các ví dụ này, có một mối quan hệ hoàn toàn đơn điệu tăng dần giữa các biến. Tương quan Spearman là +1, bất kể các biến có mối quan hệ tuyến tính hay phi tuyến tính
Pearson sẽ tạo ra nhiều kết quả khác nhau ở đây, vì nó được tính toán dựa trên mối quan hệ tuyến tính giữa các biến
Miễn là Y tăng khi X tăng, không sai sót, Hệ số tương quan xếp hạng Thương nhân sẽ là 1
Chức năng giảm đơn điệu
Hãy lặp lại các ví dụ tương tự về các chức năng đơn điệu giảm. Chúng tôi sẽ tạo lại dữ liệu tổng hợp và tính toán tương quan xếp hạng Spearman. Đầu tiên, hãy nhìn vào 4 hàng đầu tiên của
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
Hãy xem hướng dẫn thực hành, thực tế của chúng tôi để học Git, với các phương pháp hay nhất, tiêu chuẩn được ngành chấp nhận và bao gồm bảng gian lận. Dừng các lệnh Git trên Google và thực sự tìm hiểu nó
Sơ đồ nhiệt của ma trận tương quan và biểu đồ của các biến được đưa ra dưới đây
X Y
X 1.0 -0.7
Y -0.7 1.0
Hàm không đơn điệu
Các ví dụ dưới đây dành cho các hàm không đơn điệu khác nhau. Cột cuối cùng được thêm vào
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Những ví dụ này cũng cần làm rõ rằng tương quan Spearman là thước đo tính đơn điệu của mối quan hệ giữa hai biến. Một hệ số bằng 0 không nhất thiết chỉ ra rằng không có mối quan hệ nào, nhưng nó chỉ ra rằng không có sự đơn điệu giữa chúng
Trước khi tạo dữ liệu tổng hợp, chúng ta sẽ xác định một hàm trợ giúp khác,
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
Trên các đường chéo, chúng tôi sẽ hiển thị biểu đồ của từng biến bằng màu vàng bằng cách sử dụng
X Y
X 1.0 -0.7
Y -0.7 1.0
Hãy cũng hiển thị hệ số tương quan Pearson để so sánh
X Y
X 1.0 -0.7
Y -0.7 1.0
Chúng tôi sẽ tạo một DataFrame không đơn điệu,
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
hình parabol. \[ [X-5]^2 \]
Tội. \[ \sin [\frac{X}{10}2\pi] \]
frac. \[ \frac{X-5}{[X-5]^2+1} \]
Rand. Số ngẫu nhiên trong phạm vi [-1,1]
Dưới đây là 4 dòng đầu tiên của
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Hệ số tương quan Spearman giữa các cặp dữ liệu khác nhau được minh họa bên dưới
X Y
X 1.0 -0.7
Y -0.7 1.0
Những ví dụ này cho thấy loại dữ liệu nào có tương quan Spearman gần bằng 0 và ở đâu nó có các giá trị trung gian. Một điều cần lưu ý nữa là hệ số tương quan Spearman và hệ số tương quan Pearson không phải lúc nào cũng đồng nhất với nhau, vì vậy thiếu cái này không có nghĩa là thiếu cái kia
Chúng được sử dụng để kiểm tra mối tương quan cho các khía cạnh khác nhau của dữ liệu và không thể sử dụng thay thế cho nhau. Mặc dù họ sẽ đồng ý trong một số trường hợp, nhưng không phải lúc nào họ cũng đồng ý.
Hệ số tương quan Spearman trên Bộ dữ liệu Linnerud
Hãy áp dụng hệ số tương quan Spearman trên tập dữ liệu thực tế. Chúng tôi đã chọn tên gọi đơn giản là
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Mã bên dưới tải tập dữ liệu và nối các biến và thuộc tính mục tiêu trong một
def display_correlation[df]:
r = df.corr[method="spearman"]
plt.figure[figsize=[10,6]]
heatmap = sns.heatmap[df.corr[], vmin=-1,
vmax=1, annot=True]
plt.title["Spearman Correlation"]
return[r]
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Bây giờ, hãy hiển thị các cặp tương quan bằng cách sử dụng hàm
X Y
X 1.0 -0.7
Y -0.7 1.0
X Y
X 1.0 -0.7
Y -0.7 1.0
Nhìn vào các giá trị tương quan Spearman, chúng ta có thể đưa ra những kết luận thú vị như
- Giá trị vòng eo cao hơn ngụ ý tăng giá trị cân nặng [từ r = 0. 81]
- Nhiều tư thế ngồi có giá trị vòng eo thấp hơn [từ r = -0. 72]
- Cằm, tư thế ngồi và nhảy dường như không có mối quan hệ đơn điệu với xung, vì các giá trị r tương ứng gần bằng không
Tiến xa hơn - Cầm tay chỉ việc End-to-End Project
Bản chất tò mò của bạn khiến bạn muốn tiến xa hơn? .
Trong dự án có hướng dẫn này - bạn sẽ học cách xây dựng các mô hình học máy truyền thống mạnh mẽ cũng như các mô hình học sâu, sử dụng Học tập đồng bộ và đào tạo những người học meta để dự đoán giá nhà từ một túi các mô hình Scikit-Learn và Keras
Sử dụng Keras, API học sâu được xây dựng dựa trên Tensorflow, chúng tôi sẽ thử nghiệm các kiến trúc, xây dựng một tập hợp các mô hình xếp chồng lên nhau và huấn luyện mạng thần kinh siêu học viên [mô hình cấp 1] để tìm ra giá của một ngôi nhà
Học sâu thật tuyệt vời - nhưng trước khi dùng đến nó, bạn cũng nên cố gắng giải quyết vấn đề bằng các kỹ thuật đơn giản hơn, chẳng hạn như với các thuật toán học nông. Hiệu suất cơ bản của chúng tôi sẽ dựa trên thuật toán Hồi quy rừng ngẫu nhiên. Ngoài ra - chúng ta sẽ khám phá việc tạo các nhóm mô hình thông qua Scikit-Learn thông qua các kỹ thuật như đóng gói và bỏ phiếu
Đây là một dự án từ đầu đến cuối và giống như tất cả các dự án Học máy, chúng tôi sẽ bắt đầu với - với Phân tích dữ liệu khám phá, tiếp theo là Tiền xử lý dữ liệu và cuối cùng là Xây dựng các mô hình học nông và học sâu để phù hợp với dữ liệu mà chúng tôi đã khám phá và
kết luận
Trong hướng dẫn này, chúng ta đã thảo luận về hệ số tương quan xếp hạng Spearman, biểu thức toán học và tính toán của nó thông qua thư viện
X Y
X 1.0 -0.7
Y -0.7 1.0
Chúng tôi đã chứng minh hệ số này trên các ví dụ tổng hợp khác nhau và cả trên bộ dữ liệu
X Y
X 1.0 -0.7
Y -0.7 1.0