Làm thế nào để bạn khớp các chuỗi tương tự trong python?

Khi chúng tôi xử lý dữ liệu từ các nguồn khác nhau, chúng tôi thường gặp phải một vấn đề – một số chuỗi có thể được đánh vần khác nhau, nhưng chúng có cùng ý nghĩa. Con người chúng ta có thể xác định ý nghĩa ngay lập tức, nhưng máy móc không thể. Hướng dẫn ngắn này sẽ trình bày cách tìm các chuỗi tương tự bằng Python

Máy móc không thực sự hiểu ngôn ngữ của con người…

Ví dụ, chúng ta có hai câu

>>> s1 = "The leaf is green, and the pumpkin is orange, and the apple is red, and the banana is yellow."
>>> s2 = "the leaf is green, banana yellow, apple red, pumpkin orange"

Con người chúng ta có thể nói rằng

>>> s1 == s2
False

>>> s1 == s2
False

>>> s1 == s2
False

Vậy làm sao để máy nhận ra hai câu này có nghĩa giống nhau?

Giới thiệu Khoảng cách Levenshtein

Hóa ra có một công thức gọi là khoảng cách Levenshtein đo lượng chỉnh sửa một ký tự tối thiểu cần thiết để thay đổi một chuỗi này thành chuỗi khác. Khoảng cách này được đặt theo tên của nhà toán học Liên Xô Vladimir Levenshtein. Trong hướng dẫn này, chúng tôi sẽ bỏ qua tất cả các chi tiết lý thuyết, nhưng nếu bạn quan tâm, Wikipedia là một điểm khởi đầu tốt

So khớp chuỗi mờ trong Python

Thuật ngữ thích hợp để tìm các chuỗi tương tự được gọi là so khớp chuỗi mờ. Chúng tôi sẽ sử dụng một thư viện gọi làuzzywuzzy. Mặc dù nó có một cái tên buồn cười, nhưng nó là một thư viện rất phổ biến để so khớp chuỗi mờ. Thư viện Fuzzywuzzy có thể tính toán khoảng cách Levenshtein và nó có một vài chức năng mạnh mẽ khác để giúp chúng tôi khớp chuỗi mờ

Hãy bắt đầu từ một cái gì đó dễ dàng, như so sánh hai từ. Sau đó, chúng tôi sẽ chuyển sang các tình huống phức tạp hơn, chẳng hạn như so sánh nhiều câu. chúng ta đi đây

Trước tiên hãy cài đặt thư viện. Nếu bạn chưa quen với blog này và cần trợ giúp cài đặt Python và các thư viện, hãy đọc hướng dẫn này tại đây

pip install fuzzywuzzy

Ví dụ từ đơn

Bắt đầu với ví dụ đơn giản nhất. Bạn nghĩ gì về máy tính xem hai từ này. “Bezos” và “bezos”? . Vì chữ hoa “B” không bằng chữ thường “b”

>>> "Bezos" == "bezos"
False

Thật dễ dàng để ghép hai từ này. chúng ta có thể đơn giản làm cho cả hai từ đều là chữ thường [hoặc chữ hoa], sau đó so sánh lại. Chúng ta có thể sử dụng các phương thức String

>>> s1 == s2
False

>>> s1 == s2
False

Ví dụ về nhiều từ

Bạn có thể đã biết rằng “Jeff” là tên viết tắt của “Jeffery”, nhưng có vẻ như máy móc vẫn chưa biết điều đó

>>> n1 = "Jeff Bezos"
>>> n2 = "Jeffery Bezos"
>>> n1 == n2
False

Bây giờ, sử dụng kỹ thuật so khớp chuỗi mờ, chúng tôi nhận được một số 87. Phương pháp

>>> s1 == s2
False

>>> s1 == s2
False

Bây giờ, hãy giới thiệu một biến khác n3 = “Bezos”, sau đó tính tỷ lệ khoảng cách Levenshtein với cả “Jeff Bezos” và “Jeffery Bezos”

Kết quả phù hợp rất kém. Điều này là do theo định nghĩa về khoảng cách Levenshtein, phải mất nhiều lần chỉnh sửa để thay đổi “Bezos” thành “Jeff Bezos” hoặc “Jeffery Bezos”

>>> s1 == s2
False

Chúng ta có thể sử dụng phương pháp

>>> s1 == s2
False

pip install fuzzywuzzy

>>> s1 == s2
False

Ví dụ câu

Hãy tiến thêm một bước và so sánh hai câu

>>> s1 == s2
False

Lưu ý một câu có cả chữ hoa và chữ thường, còn câu kia chỉ chứa chữ hoa. Chúng ta cần giúp hàm

pip install fuzzywuzzy

Hiệu suất vẫn còn rất kém với các phương pháp

>>> s1 == s2
False

pip install fuzzywuzzy

Đừng lo lắng, vì thư việnuzzywuzzy cung cấp các chức năng mạnh mẽ khác để so sánh chuỗi

>>> s1 == s2
False

Để biết tại sao hàm

pip install fuzzywuzzy

• “Tokenizes” các câu. Có nghĩa là nó chia câu thành các từ riêng lẻ
• Chuyển đổi tất cả các từ thành chữ thường
• Xóa dấu câu
• Sắp xếp các mã thông báo chuỗi [i. e. từ riêng lẻ] theo thứ tự bảng chữ cái
• Nối các từ riêng lẻ sau đó so sánh các chuỗi mới được tạo thành

Rõ ràng là vào cuối quá trình trên, hai chuỗi

pip install fuzzywuzzy

pip install fuzzywuzzy

Ví dụ về câu – Tiếp tục

Bây giờ, hãy xem lại câu hỏi ban đầu của chúng ta ở phần đầu của hướng dẫn này. Trước tiên chúng ta sẽ thử hàm

pip install fuzzywuzzy

>>> s1 == s2
False

Lần này,

pip install fuzzywuzzy

pip install fuzzywuzzy

>>> "Bezos" == "bezos"
False

pip install fuzzywuzzy

>>> "Bezos" == "bezos"
False

Fuzzywuzzy cung cấp một chức năng hữu ích khác để giải quyết vấn đề này.

>>> "Bezos" == "bezos"
False

Hàm này rất giống với

pip install fuzzywuzzy

>>> "Bezos" == "bezos"
False

>>> "Bezos" == "bezos"
False

>>> s1 == s2
False

Hãy thử trên hai chuỗi

pip install fuzzywuzzy

>>> "Bezos" == "bezos"
False

>>> "Bezos".lower[] == "bezos".lower[]
True

>>> "Bezos".upper[] == "bezos".upper[]
True

>>> s1 == s2
False

Cái gì tiếp theo?

Bây giờ chúng ta đã được trang bị kiến ​​thức về khớp chuỗi mờ trong Python. Trong hướng dẫn tiếp theo, chúng ta sẽ xem qua một số ví dụ về cách sử dụng khớp chuỗi mờ cùng với gấu trúc và Excel