Hướng dẫn remove duplicates excel python - loại bỏ các bản sao excel python
|
Trong bài viết, các tập lệnh Python để định dạng dữ liệu trong Microsoft Excel, chúng tôi đã sử dụng các tập lệnh Python để tạo một excel và thực hiện định dạng dữ liệu khác nhau. Python là một ngôn ngữ lập trình cấp cao thú vị. Bạn có thể trải qua các trường hợp sử dụng khác nhau của Python trên SQLShack. Show
Nội phân chính
Trong bài viết này, chúng tôi sẽ xem xét loại bỏ dữ liệu trùng lặp khỏi Excel bằng Python. Tóm tắt nhanh về việc loại bỏ các hàng trùng lặp trong Microsoft ExcelCú pháp của drop_duplicates () trong các tập lệnh python  Ví dụ 1: Sử dụng drop_duplicates () mà không có bất kỳ đối số nàoRemove Duplicates button from the Data menu. This option checks duplicate values and retains the FIRST unique value and removes other values. Ví dụ 2: Sử dụng drop_duplicates () cùng với tên cột Ví dụ 3: Xóa các bản sao bằng cách giữ giá trị tối đa và tối thiểu Ví dụ 4: hàm drop_duplicate () sử dụng đối số thay thế Đánh dấu các giá trị trùng lặp với mã màu tùy chỉnh Làm thế nào để bạn loại bỏ các bản sao khỏi một tệp excel trong Python? Làm cách nào để loại bỏ các bản sao trong bảng tính Excel? Làm thế nào để bạn xóa các tệp trùng lặp trong Python? Cách dễ nhất để loại bỏ các bản sao trong Python là gì?pandas and NumPy package along with pip utility. Trong bài viết này, chúng tôi sẽ xem xét loại bỏ dữ liệu trùng lặp khỏi Excel bằng Python. Giả sử chúng ta có dữ liệu sau trong một tờ Excel. Chúng tôi muốn loại bỏ các giá trị trùng lặp trong bảng này.pandas library to read and write the excel sheets. Trong Microsoft Excel, chúng tôi sử dụng nút Xóa trùng lặp khỏi menu dữ liệu. Tùy chọn này kiểm tra các giá trị trùng lặp và giữ lại giá trị duy nhất đầu tiên và xóa các giá trị khác.
Chúng tôi có dữ liệu sau khi loại bỏ các bản sao khỏi điều này. Giả sử bạn đang làm việc trong Excel bằng ngôn ngữ Python. Nếu Excel đó chứa các giá trị trùng lặp, chúng ta có thể không muốn sử dụng các chức năng Excel cho nó. Kịch bản của chúng tôi phải có khả năng xử lý dữ liệu trùng lặp như vậy và xóa theo các yêu cầu của chúng tôi, chẳng hạn như xóa tất cả các bản sao, xóa tất cả trừ bản sao cuối cùng, xóa tất cả nhưng lần đầu tiên trùng lặp. Cú pháp của drop_duplicates () trong các tập lệnh pythonHãy cùng nhìn vào cách xử lý dữ liệu trùng lặp Python trong Excel.
Ví dụ 1: Sử dụng drop_duplicates () mà không có bất kỳ đối số nàoVí dụ 2: Sử dụng drop_duplicates () cùng với tên cột
Chúng tôi có dữ liệu sau khi loại bỏ các bản sao khỏi điều này. Ví dụ 2: Sử dụng drop_duplicates () cùng với tên cộtVí dụ 3: Xóa các bản sao bằng cách giữ giá trị tối đa và tối thiểu Trong các tập lệnh Python sau, chúng tôi chỉ định tên cột trong đối số tập hợp con. Pandas kiểm tra các cột này và xóa các giá trị trùng lặp. Nó không bao gồm cột Nhận xét trong trường hợp này. Ví dụ 2A: Keep = "đầu tiên" đối sốChúng tôi cũng chỉ định một đối số khác giữ = trước tiên để hướng dẫn Python giữ giá trị đầu tiên và loại bỏ các bản sao hơn nữa. Đó là các hành vi mặc định để chúng ta có thể loại trừ tham số này ở đây.keep=first to instruct Python to keep the first value and remove further duplicates. It is the default behaviors so that we can exclude this parameter here as well.
Nhìn vào đầu ra, và chúng tôi chỉ có ba hồ sơ có sẵn. Nó đã loại bỏ tất cả các hàng trùng lặp cho các cột được chỉ định. Chúng tôi có các hàng có ID ID 0,2 và 4 trong đầu ra bằng cách sử dụng giá trị đầu tiên trong đối số giữ. Ví dụ 2b: Keep = "Last Last" đối sốChúng ta có thể thay đổi đối số giữ = cuối cùng. Nó giữ hàng cuối cùng từ các bản sao và loại bỏ các hàng trùng lặp trước đó. Hãy để thay đổi đối số và xem đầu ra.keep=last. It keeps the last row from the duplicates and removes previous duplicate rows. Let’s change the argument and view the output.
Nhìn vào đầu ra, và chúng tôi chỉ có ba hồ sơ có sẵn. Nó đã loại bỏ tất cả các hàng trùng lặp cho các cột được chỉ định. Chúng tôi có các hàng có ID ID 0,2 và 4 trong đầu ra bằng cách sử dụng giá trị đầu tiên trong đối số giữ. Ví dụ 2b: Keep = "Last Last" đối sốChúng ta có thể thay đổi đối số giữ = cuối cùng. Nó giữ hàng cuối cùng từ các bản sao và loại bỏ các hàng trùng lặp trước đó. Hãy để thay đổi đối số và xem đầu ra.
Nhìn vào đầu ra, và chúng tôi chỉ có ba hồ sơ có sẵn. Nó đã loại bỏ tất cả các hàng trùng lặp cho các cột được chỉ định. Chúng tôi có các hàng có ID ID 0,2 và 4 trong đầu ra bằng cách sử dụng giá trị đầu tiên trong đối số giữ. Ví dụ 2b: Keep = "Last Last" đối số Chúng ta có thể thay đổi đối số giữ = cuối cùng. Nó giữ hàng cuối cùng từ các bản sao và loại bỏ các hàng trùng lặp trước đó. Hãy để thay đổi đối số và xem đầu ra.
Nhìn vào đầu ra, và chúng tôi chỉ có ba hồ sơ có sẵn. Nó đã loại bỏ tất cả các hàng trùng lặp cho các cột được chỉ định. Chúng tôi có các hàng có ID ID 0,2 và 4 trong đầu ra bằng cách sử dụng giá trị đầu tiên trong đối số giữ. Ví dụ 2b: Keep = "Last Last" đối số Chúng ta có thể thay đổi đối số giữ = cuối cùng. Nó giữ hàng cuối cùng từ các bản sao và loại bỏ các hàng trùng lặp trước đó. Hãy để thay đổi đối số và xem đầu ra.Trong trường hợp này, đầu ra thay đổi và chúng tôi có các hàng có ID ID 1,2,7 trong đầu ra. Ví dụ 2c: giữ = đối số sai lầm
Nhìn vào đầu ra, và chúng tôi chỉ có ba hồ sơ có sẵn. Nó đã loại bỏ tất cả các hàng trùng lặp cho các cột được chỉ định. Chúng tôi có các hàng có ID ID 0,2 và 4 trong đầu ra bằng cách sử dụng giá trị đầu tiên trong đối số giữ. Ví dụ 2b: Keep = "Last Last" đối số
Nhìn vào đầu ra, và chúng tôi chỉ có ba hồ sơ có sẵn. Nó đã loại bỏ tất cả các hàng trùng lặp cho các cột được chỉ định. Chúng tôi có các hàng có ID ID 0,2 và 4 trong đầu ra bằng cách sử dụng giá trị đầu tiên trong đối số giữ.Ví dụ 2b: Keep = "Last Last" đối số Chúng ta có thể thay đổi đối số giữ = cuối cùng. Nó giữ hàng cuối cùng từ các bản sao và loại bỏ các hàng trùng lặp trước đó. Hãy để thay đổi đối số và xem đầu ra.
Ví dụ 2b: Keep = "Last Last" đối số
Đánh dấu các giá trị trùng lặp với mã màu tùy chỉnhTrong nhiều trường hợp, chúng tôi chỉ muốn kiểm tra dữ liệu trùng lặp thay vì xóa nó. Thay vào đó, chúng tôi yêu cầu để làm nổi bật các giá trị trùng lặp và gửi chúng đến nhóm thích hợp để điều chỉnh. Nó có thể là khả thi trong trường hợp chúng tôi nhận được dữ liệu từ bên thứ ba. Chúng ta có thể sử dụng định dạng có điều kiện và đưa ra một kiểu trực quan (mã hóa màu) để nhân đôi các hàng. Trong mã sau, chúng tôi xác định hàm tập lệnh Python để làm nổi bật các giá trị trùng lặp trong màu nền màu cam. Chúng tôi sẽ đề cập nhiều hơn về định dạng có điều kiện trong các bài viết sắp tới.conditional formatting and give a visual style ( color coding ) to duplicate rows. In the following code, we define a Python script function to highlight duplicate values in the orange background color. We will cover more about conditional formatting in upcoming articles.
Nó cung cấp cho chúng ta đầu ra sau và chúng ta có thể dễ dàng diễn giải các hàng nào chứa các giá trị trùng lặp. Nó rất hữu ích, đặc biệt là khi chúng ta có một số lượng lớn các hàng. Chúng ta không thể đi qua từng hàng trong trường hợp này và mã hóa màu giúp chúng ta xác định các giá trị trùng lặp. Ngoài ra, chúng ta có thể sử dụng các chức năng tiếp theo như Groupby và đếm các hàng trùng lặp.GROUPBY and count the duplicate rows.
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; df.loc [~ mặt nạ,:] = 'màu nền: ""'Nó cung cấp cho chúng ta đầu ra sau và chúng ta có thể dễ dàng diễn giải các hàng nào chứa các giá trị trùng lặp. Nó rất hữu ích, đặc biệt là khi chúng ta có một số lượng lớn các hàng. Chúng ta không thể đi qua từng hàng trong trường hợp này và mã hóa màu giúp chúng ta xác định các giá trị trùng lặp.
Sự kết luận Trong bài viết này, chúng tôi đã khám phá quá trình để loại bỏ các hàng trùng lặp trong một tờ Excel bằng các tập lệnh Python. Tôi thích cách đối phó với các tệp Excel bằng Python. Chúng tôi sẽ bao gồm các tập lệnh hữu ích hơn trong các bài viết sắp tới. Giữ nguyên! Tác giả Bài viết gần đâyBest Author of the Year continuously in 2019, 2020, and 2021 (2nd Rank) at SQLShack and the MSSQLTIPS champions award in 2020. Xin chào! Tôi là Rajendra Gupta, chuyên gia và kiến trúc sư cơ sở dữ liệu, giúp các tổ chức thực hiện Microsoft SQL Server, Azure, Couchbase, AWS Solutions nhanh chóng và hiệu quả, khắc phục các vấn đề liên quan và điều chỉnh hiệu suất với hơn 14 năm kinh nghiệm. Tôi là tác giả của cuốn sách "DP-300 quản lý cơ sở dữ liệu quan hệ trên Microsoft Azure". Tôi đã xuất bản hơn 650 bài viết kỹ thuật về MSSQLTIPS, SQLShack, Quest, CodingSight và một số. Tôi là người tạo ra một trong những bộ sưu tập bài viết trực tuyến miễn phí lớn nhất về một chủ đề duy nhất, với loạt phim 50 phần của anh ấy trên SQL Server luôn luôn trên các nhóm sẵn có.Dựa trên sự đóng góp của tôi cho cộng đồng SQL Server, tôi đã được công nhận là tác giả giỏi nhất của năm liên tục vào năm 2019, 2020 và 2021 (cấp bậc thứ 2) tại Giải thưởng Nhà vô địch MSSQLTIPS của SQLShack và MSSQLTIPS năm 2020. Pandas drop_duplicates() method helps in removing duplicates from the Pandas Dataframe In Python. Blog cá nhân: https: //www.dbblogger.comi luôn quan tâm đến những thách thức mới, vì vậy nếu bạn cần trợ giúp tư vấn, hãy liên hệ với tôi tạiXem tất cả các bài viết của Rajendra Gupta. Làm thế nào để bạn loại bỏ các bản sao khỏi một tệp excel trong Python? drop_duplicates () pandas drop_duplicates () Phương thức giúp loại bỏ các bản sao khỏi khung dữ liệu pandas trong python. Làm cách nào để loại bỏ các bản sao trong bảng tính Excel? Loại bỏ các giá trị trùng lặp.Explanation:.. Chọn phạm vi của các ô có giá trị trùng lặp bạn muốn xóa. Mẹo: Xóa bất kỳ phác thảo hoặc phụ nào khỏi dữ liệu của bạn trước khi cố gắng xóa các bản sao .. Nhấp vào Dữ liệu> Xóa các bản sao, sau đó dưới các cột, kiểm tra hoặc bỏ chọn các cột nơi bạn muốn xóa các bản sao. .... Bấm OK .. Làm thế nào để bạn xóa các tệp trùng lặp trong Python? Trước hết, lưu đường dẫn của đường dẫn tệp đầu vào và đầu ra theo hai biến. .... Tạo một biến bộ. .... Mở tệp đầu ra ở chế độ ghi. ....Bắt đầu một cho vòng lặp để đọc từ dòng tệp đầu vào từng dòng. ..... Tìm giá trị băm của dòng hiện tại. .... Kiểm tra xem giá trị băm này đã có trong biến đã đặt hay không .. Cách dễ nhất để loại bỏ các bản sao trong Python là gì? Có nhiều cách để loại bỏ các bản sao khỏi danh sách Python .. Sử dụng một danh sách tạm thời và vòng lặp .. |
