[+:
Pandas là một thư viện Python.
Gandas được sử dụng để phân tích dữ liệu.
Học bằng cách đọc
Chúng tôi đã tạo 14 trang hướng dẫn để bạn tìm hiểu thêm về gấu trúc.
Bắt đầu với phần giới thiệu cơ bản và kết thúc bằng dữ liệu làm sạch và vẽ đồ thị:
Học bằng bài kiểm tra bài kiểm tra
Kiểm tra kỹ năng gấu trúc của bạn bằng một bài kiểm tra đố.
Bắt đầu bài kiểm tra gấu trúc
Học bằng các bài tập
Bài tập gấu trúc
Học theo ví dụ
Trong trình soạn thảo "Hãy thử chính nó" của chúng tôi, bạn có thể sử dụng mô -đun Pandas và sửa đổi mã để xem kết quả.
Thí dụ
Tải tệp CSV vào gấu trúc DataFrame:
nhập khẩu gấu trúc dưới dạng PD
df = pd.read_csv ['data.csv']
print[df.to_string[]]
Hãy tự mình thử »
Nhấp vào nút "Hãy tự mình thử" để xem nó hoạt động như thế nào.
Tế bào trống
Dữ liệu ở định dạng sai
Dữ liệu sai
Sao chép
Trong hướng dẫn này, bạn sẽ học cách đối phó với tất cả chúng.
Trong các chương tiếp theo, chúng tôi sẽ sử dụng bộ dữ liệu này:
"calories": [420, 380, 390],
"duration": [50, 40, 45]
}
Bộ dữ liệu chứa một số ô trống ["Ngày" ở hàng 22 và "calo" trong hàng 18 và 28].
df = pd.DataFrame[data]
Bộ dữ liệu chứa định dạng sai ["Ngày" trong hàng 26].
Bộ dữ liệu chứa dữ liệu sai ["thời lượng" trong hàng 7].
calories duration 0 420 50 1 380 40 2 390 45
Bộ dữ liệu chứa các bản sao [hàng 11 và 12].
Các ô có dữ liệu có định dạng sai có thể gây khó khăn, hoặc thậm chí là không thể phân tích dữ liệu.
Để sửa nó, bạn có hai tùy chọn: Xóa các hàng hoặc chuyển đổi tất cả các ô trong các cột thành cùng một định dạng.
Trong khung dữ liệu của chúng tôi, chúng tôi có hai ô có định dạng sai. Kiểm tra hàng 22 và 26, cột 'Ngày' phải là một chuỗi đại diện cho một ngày:
Dữ liệu sai
Sao chép
Trong hướng dẫn này, bạn sẽ học cách đối phó với tất cả chúng.
print[df.loc[0]]
Bộ dữ liệu chứa dữ liệu sai ["thời lượng" trong hàng 7].
calories 420 duration 50 Name: 0, dtype: int64
Bộ dữ liệu chứa các bản sao [hàng 11 và 12].
Các ô có dữ liệu có định dạng sai có thể gây khó khăn, hoặc thậm chí là không thể phân tích dữ liệu. This example returns a Pandas Series.
Dữ liệu sai
Sao chép
Trong hướng dẫn này, bạn sẽ học cách đối phó với tất cả chúng.
print[df.loc[[0, 1]]]
Bộ dữ liệu chứa dữ liệu sai ["thời lượng" trong hàng 7].
calories duration 0 420 50 1 380 40
Bộ dữ liệu chứa các bản sao [hàng 11 và 12].
LƯU Ý: Khi sử dụng []
, kết quả là một bản dữ liệu gấu trúc. When using []
, the result is a Pandas DataFrame.
Chỉ số được đặt tên
Với đối số
calories 420 duration 50 Name: 0, dtype: int640, bạn có thể đặt tên cho các chỉ mục của riêng bạn.
Thí dụ
Thêm một danh sách các tên để đặt tên cho mỗi hàng một tên:
nhập khẩu gấu trúc dưới dạng PD
data = {& nbsp; "calo": [420, 380, 390], & nbsp; "Thời lượng": [50, 40, 45]}
"calories": [420, 380, 390],
"duration": [50, 40, 45]
}
df = pd.dataframe [dữ liệu, index = ["day1", "day2", "day3"]]]
In [DF]
Kết quả
calories duration day1 420 50 day2 380 40 day3 390 45
Hãy tự mình thử »
Xác định vị trí các chỉ mục được đặt tên
Sử dụng chỉ mục được đặt tên trong thuộc tính loc
để trả về [các] hàng được chỉ định.
Thí dụ
Thêm một danh sách các tên để đặt tên cho mỗi hàng một tên:
nhập khẩu gấu trúc dưới dạng PD
print[df.loc["day2"]]
Kết quả
calories 380 duration 40 Name: 0, dtype: int64
Hãy tự mình thử »
Xác định vị trí các chỉ mục được đặt tên
Sử dụng chỉ mục được đặt tên trong thuộc tính loc
để trả về [các] hàng được chỉ định.
Thí dụ
Thêm một danh sách các tên để đặt tên cho mỗi hàng một tên:
nhập khẩu gấu trúc dưới dạng PD
data = {& nbsp; "calo": [420, 380, 390], & nbsp; "Thời lượng": [50, 40, 45]}
print[df]
Hãy tự mình thử »
Xác định vị trí các chỉ mục được đặt tên
Sử dụng chỉ mục được đặt tên trong thuộc tính loc
để trả về [các] hàng được chỉ định.
Bước 5: Xác thực và QA ..
Làm sạch dữ liệu với ví dụ là gì?
Làm sạch dữ liệu là sửa lỗi hoặc sự không nhất quán hoặc tái cấu trúc dữ liệu để giúp sử dụng dễ dàng hơn.Điều này bao gồm những thứ như tiêu chuẩn hóa ngày và địa chỉ, đảm bảo các giá trị trường [ví dụ: đã đóng lại Won Won và và đóng cửa với các mã khu vực phân tích cú pháp từ các số điện thoại và làm phẳng các cấu trúc dữ liệu lồng nhau.correcting errors or inconsistencies, or restructuring data to make it easier to use. This includes things like standardizing dates and addresses, making sure field values [e.g., “Closed won” and “Closed Won”] match, parsing area codes out of phone numbers, and flattening nested data structures.Show
- Bước 5: Xác thực và QA ..
- Làm sạch dữ liệu với ví dụ là gì?
- Dữ liệu có định dạng sai
- Chuyển đổi thành một định dạng chính xác
- Loại bỏ hàng
- Như bạn có thể thấy từ kết quả, ngày trong hàng 26 đã được sửa, nhưng ngày trống trong hàng 22 có giá trị NAT [không phải thời gian], nói cách khác là một giá trị trống. Một cách để đối phó với các giá trị trống chỉ đơn giản là loại bỏ toàn bộ hàng.
- Kết quả từ việc chuyển đổi trong ví dụ trên đã cho chúng ta một giá trị NAT, có thể được xử lý dưới dạng giá trị null và chúng ta có thể loại bỏ hàng bằng cách sử dụng phương thức
calories 420 duration 50 Name: 0, dtype: int64
3. - Kết hợp các phương thức STR với các cột Numpy với các cột sạch ..
- Bước 3: Lọc các ngoại lệ không mong muốn.....
Bước 4: Xử lý dữ liệu bị thiếu.....
- Bước 5: Xác thực và QA ..
- Làm sạch dữ liệu với ví dụ là gì?
- Làm sạch dữ liệu là sửa lỗi hoặc sự không nhất quán hoặc tái cấu trúc dữ liệu để giúp sử dụng dễ dàng hơn.Điều này bao gồm những thứ như tiêu chuẩn hóa ngày và địa chỉ, đảm bảo các giá trị trường [ví dụ: đã đóng lại Won Won và và đóng cửa với các mã khu vực phân tích cú pháp từ các số điện thoại và làm phẳng các cấu trúc dữ liệu lồng nhau.correcting errors or inconsistencies, or restructuring data to make it easier to use. This includes things like standardizing dates and addresses, making sure field values [e.g., “Closed won” and “Closed Won”] match, parsing area codes out of phone numbers, and flattening nested data structures.
- Làm sạch dữ liệu
Làm sạch dữ liệu có nghĩa là sửa dữ liệu xấu trong tập dữ liệu của bạn.
Làm sạch dữ liệu với ví dụ là gì?
Làm sạch dữ liệu là sửa lỗi hoặc sự không nhất quán hoặc tái cấu trúc dữ liệu để giúp sử dụng dễ dàng hơn.Điều này bao gồm những thứ như tiêu chuẩn hóa ngày và địa chỉ, đảm bảo các giá trị trường [ví dụ: đã đóng lại Won Won và và đóng cửa với các mã khu vực phân tích cú pháp từ các số điện thoại và làm phẳng các cấu trúc dữ liệu lồng nhau.correcting errors or inconsistencies, or restructuring data to make it easier to use. This includes things like standardizing dates and addresses, making sure field values [e.g., “Closed won” and “Closed Won”] match, parsing area codes out of phone numbers, and flattening nested data structures.
Duration Date Pulse Maxpulse Calories 0 60 '2020/12/01' 110 130 409.1 1 60 '2020/12/02' 117 145 479.0 2 60 '2020/12/03' 103 135 340.0 3 45 '2020/12/04' 109 175 282.4 4 45 '2020/12/05' 117 148 406.0 5 60 '2020/12/06' 102 127 300.0 6 60 '2020/12/07' 110 136 374.0 7 450 '2020/12/08' 104 134 253.3 8 30 '2020/12/09' 109 133 195.1 9 60 '2020/12/10' 98 124 269.0 10 60 '2020/12/11' 103 147 329.3 11 60 '2020/12/12' 100 120 250.7 12 60 '2020/12/12' 100 120 250.7 13 60 '2020/12/13' 106 128 345.3 14 60 '2020/12/14' 104 132 379.3 15 60 '2020/12/15' 98 123 275.0 16 60 '2020/12/16' 98 120 215.2 17 60 '2020/12/17' 100 120 300.0 18 45 '2020/12/18' 90 112 NaN 19 60 '2020/12/19' 103 123 323.0 20 45 '2020/12/20' 97 125 243.0 21 60 '2020/12/21' 108 131 364.2 22 45 NaN 100 119 282.0 23 60 '2020/12/23' 130 101 300.0 24 45 '2020/12/24' 105 132 246.0 25 60 '2020/12/25' 102 126 334.5 26 60 2020/12/26 100 120 250.0 27 60 '2020/12/27' 92 118 241.0 28 60 '2020/12/28' 103 132 NaN 29 60 '2020/12/29' 100 132 280.0 30 60 '2020/12/30' 102 129 380.3 31 60 '2020/12/31' 92 115 243.0
Làm sạch dữ liệu
Bộ dữ liệu chứa định dạng sai ["Ngày" trong hàng 26].
Bộ dữ liệu chứa dữ liệu sai ["thời lượng" trong hàng 7].
Bộ dữ liệu chứa các bản sao [hàng 11 và 12].
Dữ liệu có định dạng sai
Các ô có dữ liệu có định dạng sai có thể gây khó khăn, hoặc thậm chí là không thể phân tích dữ liệu.
Để sửa nó, bạn có hai tùy chọn: Xóa các hàng hoặc chuyển đổi tất cả các ô trong các cột thành cùng một định dạng.
Chuyển đổi thành một định dạng chính xác
Trong khung dữ liệu của chúng tôi, chúng tôi có hai ô có định dạng sai. Kiểm tra hàng 22 và 26, cột 'Ngày' phải là một chuỗi đại diện cho một ngày:
Duration Date Pulse Maxpulse Calories 0 60 '2020/12/01' 110 130 409.1 1 60 '2020/12/02' 117 145 479.0 2 60 '2020/12/03' 103 135 340.0 3 45 '2020/12/04' 109 175 282.4 4 45 '2020/12/05' 117 148 406.0 5 60 '2020/12/06' 102 127 300.0 6 60 '2020/12/07' 110 136 374.0 7 450 '2020/12/08' 104 134 253.3 8 30 '2020/12/09' 109 133 195.1 9 60 '2020/12/10' 98 124 269.0 10 60 '2020/12/11' 103 147 329.3 11 60 '2020/12/12' 100 120 250.7 12 60 '2020/12/12' 100 120 250.7 13 60 '2020/12/13' 106 128 345.3 14 60 '2020/12/14' 104 132 379.3 15 60 '2020/12/15' 98 123 275.0 16 60 '2020/12/16' 98 120 215.2 17 60 '2020/12/17' 100 120 300.0 18 45 '2020/12/18' 90 112 NaN 19 60 '2020/12/19' 103 123 323.0 20 45 '2020/12/20' 97 125 243.0 21 60 '2020/12/21' 108 131 364.2 22 45 NaN 100 119 282.0 23 60 '2020/12/23' 130 101 300.0 24 45 '2020/12/24' 105 132 246.0 25 60 '2020/12/25' 102 126 334.5 26 60 20201226 100 120 250.0 27 60 '2020/12/27' 92 118 241.0 28 60 '2020/12/28' 103 132 NaN 29 60 '2020/12/29' 100 132 280.0 30 60 '2020/12/30' 102 129 380.3 31 60 '2020/12/31' 92 115 243.0
Chúng ta hãy cố gắng chuyển đổi tất cả các ô trong cột 'Ngày' thành ngày.
Pandas có phương pháp
calories 420 duration 50 Name: 0, dtype: int642 cho việc này:
Thí dụ
Chuyển đổi đến ngày:
nhập khẩu gấu trúc dưới dạng PD
df = pd.read_csv ['data.csv']
df ['date'] = pd.to_dateTime [df ['date']]]
in [df.to_string []]]
Hãy tự mình thử »
Result:
Duration Date Pulse Maxpulse Calories 0 60 '2020/12/01' 110 130 409.1 1 60 '2020/12/02' 117 145 479.0 2 60 '2020/12/03' 103 135 340.0 3 45 '2020/12/04' 109 175 282.4 4 45 '2020/12/05' 117 148 406.0 5 60 '2020/12/06' 102 127 300.0 6 60 '2020/12/07' 110 136 374.0 7 450 '2020/12/08' 104 134 253.3 8 30 '2020/12/09' 109 133 195.1 9 60 '2020/12/10' 98 124 269.0 10 60 '2020/12/11' 103 147 329.3 11 60 '2020/12/12' 100 120 250.7 12 60 '2020/12/12' 100 120 250.7 13 60 '2020/12/13' 106 128 345.3 14 60 '2020/12/14' 104 132 379.3 15 60 '2020/12/15' 98 123 275.0 16 60 '2020/12/16' 98 120 215.2 17 60 '2020/12/17' 100 120 300.0 18 45 '2020/12/18' 90 112 NaN 19 60 '2020/12/19' 103 123 323.0 20 45 '2020/12/20' 97 125 243.0 21 60 '2020/12/21' 108 131 364.2 22 45 NaT 100 119 282.0 23 60 '2020/12/23' 130 101 300.0 24 45 '2020/12/24' 105 132 246.0 25 60 '2020/12/25' 102 126 334.5 26 60 '2020/12/26' 100 120 250.0 27 60 '2020/12/27' 92 118 241.0 28 60 '2020/12/28' 103 132 NaN 29 60 '2020/12/29' 100 132 280.0 30 60 '2020/12/30' 102 129 380.3 31 60 '2020/12/31' 92 115 243.0
Như bạn có thể thấy từ kết quả, ngày trong hàng 26 đã được sửa, nhưng ngày trống trong hàng 22 có giá trị NAT [không phải thời gian], nói cách khác là một giá trị trống. Một cách để đối phó với các giá trị trống chỉ đơn giản là loại bỏ toàn bộ hàng.
Loại bỏ hàng
Kết quả từ việc chuyển đổi trong ví dụ trên đã cho chúng ta một giá trị NAT, có thể được xử lý dưới dạng giá trị null và chúng ta có thể loại bỏ hàng bằng cách sử dụng phương thức
calories 420 duration 50 Name: 0, dtype: int643.
Thí dụ
Chuyển đổi đến ngày:
nhập khẩu gấu trúc dưới dạng PD
Hãy tự mình thử »
Như bạn có thể thấy từ kết quả, ngày trong hàng 26 đã được sửa, nhưng ngày trống trong hàng 22 có giá trị NAT [không phải thời gian], nói cách khác là một giá trị trống. Một cách để đối phó với các giá trị trống chỉ đơn giản là loại bỏ toàn bộ hàng.
Loại bỏ hàngfixing bad data in your data set. Bad data could be: Empty cells. Data in wrong format. Wrong data.
Kết quả từ việc chuyển đổi trong ví dụ trên đã cho chúng ta một giá trị NAT, có thể được xử lý dưới dạng giá trị null và chúng ta có thể loại bỏ hàng bằng cách sử dụng phương thức calories 420
duration 50
Name: 0, dtype: int64
3.
Làm sạch dữ liệu trong Python là gì?.
Làm sạch dữ liệu có nghĩa là sửa dữ liệu xấu trong tập dữ liệu của bạn. Dữ liệu xấu có thể là: các ô trống. Dữ liệu ở định dạng sai. Dữ liệu sai.fixing bad data in your data set. Bad data could be: Empty cells. Data in wrong format. Wrong data.
Làm thế nào để bạn sử dụng Python để làm sạch dữ liệu?
Làm sạch dữ liệu Pythonic với gấu trúc và numpy..
Bỏ các cột trong một khung dữ liệu ..
Thay đổi chỉ mục của một khung dữ liệu ..
Dọn dẹp các trường trong dữ liệu ..
Kết hợp các phương thức STR với các cột Numpy với các cột sạch ..
Làm sạch toàn bộ bộ dữ liệu bằng hàm applicationMap ...
Đổi tên các cột và bỏ qua hàng ..
Các bước trong làm sạch dữ liệu là gì?
Làm thế nào để làm sạch dữ liệu..
Bước 1: Loại bỏ các quan sát trùng lặp hoặc không liên quan.Loại bỏ các quan sát không mong muốn khỏi bộ dữ liệu của bạn, bao gồm các quan sát trùng lặp hoặc quan sát không liên quan.....
Bước 2: Khắc phục lỗi cấu trúc.....
Bước 3: Lọc các ngoại lệ không mong muốn.....
Bước 4: Xử lý dữ liệu bị thiếu.....correcting errors or inconsistencies, or restructuring data to make it easier to use. This includes things like standardizing dates and addresses, making sure field values [e.g., “Closed won” and “Closed Won”] match, parsing area codes out of phone numbers, and flattening nested data structures.