Hướng dẫn mastering python regular expressions github - làm chủ biểu thức chính quy python github

Một nơi mà ngôn ngữ Python thực sự tỏa sáng là trong quá trình thao túng các chuỗi. Phần này sẽ bao gồm một số phương thức và hoạt động định dạng chuỗi tích hợp của Python, trước khi chuyển sang hướng dẫn nhanh về chủ đề cực kỳ hữu ích của các biểu thức thông thường. Các mẫu thao tác chuỗi như vậy thường xuất hiện trong bối cảnh công việc khoa học dữ liệu, và là một trong những lợi ích lớn của Python trong bối cảnh này.

Các chuỗi trong Python có thể được xác định bằng cách sử dụng các trích dẫn đơn hoặc kép (chúng tương đương về mặt chức năng):

In [1]:

x = 'a string'
y = "a string"
x == y

Ngoài ra, có thể xác định các chuỗi đa dòng bằng cú pháp ba điểm:

In [2]:

multiline = """
one
two
three
"""

Với điều này, chúng ta hãy tham quan nhanh một số công cụ thao tác chuỗi của Python.

Thao tác chuỗi đơn giản trong Python¶

Đối với thao tác cơ bản của các chuỗi, các phương thức chuỗi tích hợp của Python có thể cực kỳ thuận tiện. Nếu bạn có một nền tảng làm việc bằng C hoặc một ngôn ngữ cấp thấp khác, bạn có thể sẽ thấy sự đơn giản của các phương pháp của Python cực kỳ mới mẻ. Chúng tôi đã giới thiệu loại chuỗi của Python và một vài trong số các phương pháp này trước đó; Ở đây chúng ta sẽ lặn sâu hơn một chút

Chuỗi định dạng: Điều chỉnh trường hợp Jo

Python làm cho nó khá dễ dàng để điều chỉnh trường hợp của một chuỗi. Ở đây chúng ta sẽ xem xét các phương thức

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

In [3]:

fox = "tHe qUICk bROWn fOx."

Để chuyển đổi toàn bộ chuỗi thành trường hợp trên hoặc trường hợp thấp hơn, bạn có thể sử dụng các phương thức

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

Một nhu cầu định dạng phổ biến là chỉ viết hoa chữ cái đầu tiên của mỗi từ, hoặc có lẽ là chữ cái đầu tiên của mỗi câu. Điều này có thể được thực hiện với các phương pháp

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

Các trường hợp có thể được hoán đổi bằng phương pháp

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

Chuỗi định dạng: Thêm và loại bỏ không gian

Một nhu cầu phổ biến khác là loại bỏ các khoảng trống (hoặc các ký tự khác) từ đầu hoặc cuối chuỗi. Phương pháp cơ bản để loại bỏ các ký tự là phương pháp

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

In [9]:

line = '         this is the content         '
line.strip()

Để loại bỏ không gian ở bên phải hoặc bên trái, hãy sử dụng

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

Để loại bỏ các ký tự khác ngoài không gian, bạn có thể chuyển ký tự mong muốn cho phương thức

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

In [12]:

num = "000000000000435"
num.strip('0')

Ngược lại với hoạt động này, thêm không gian hoặc các ký tự khác, có thể được thực hiện bằng các phương thức

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

Ví dụ: chúng ta có thể sử dụng phương thức

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

In [13]:

line = "this is the content"
line.center(30)

Tương tự,

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

Tất cả các phương pháp này cũng chấp nhận bất kỳ ký tự nào sẽ được sử dụng để lấp đầy không gian. Ví dụ:

Bởi vì không điền vào là một nhu cầu phổ biến như vậy, Python cũng cung cấp

line.replace('brown', 'red')

Tìm và thay thế Subrings¶

Nếu bạn muốn tìm sự xuất hiện của một ký tự nhất định trong một chuỗi, ________ 84/________ 85, ________ 86/________ 87 và

line.replace('brown', 'red')

line.replace('brown', 'red')

line.replace('brown', 'red')

In [18]:

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

Sự khác biệt duy nhất giữa

line.replace('brown', 'red')

line.replace('brown', 'red')

line.replace('brown', 'red')

'the quick red fox jumped over a lazy dog'

line.replace('brown', 'red')

'the quick red fox jumped over a lazy dog'

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
 in ()
----> 1 line.index('bear')

ValueError: substring not found

Các

line.replace('brown', 'red')

line.replace('brown', 'red')

Đối với trường hợp đặc biệt để kiểm tra một chuỗi con ở đầu hoặc cuối của chuỗi, Python cung cấp các phương thức

'the quick red fox jumped over a lazy dog'

multiline = """
one
two
three
"""

Để tiến thêm một bước và thay thế một chuỗi con nhất định bằng một chuỗi mới, bạn có thể sử dụng phương thức

line.replace('brown', 'red')

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

In [25]:

line.replace('brown', 'red')

Out[25]:

'the quick red fox jumped over a lazy dog'

Hàm

line.replace('brown', 'red')

Out[26]:

multiline = """
one
two
three
"""

Chuỗi phân tách và phân vùng

Nếu bạn muốn tìm một chuỗi con và sau đó chia chuỗi dựa trên vị trí của nó, các phương thức

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Phương thức

multiline = """
one
two
three
"""

Out[27]:

multiline = """
one
two
three
"""

Phương thức

multiline = """
one
two
three
"""

Phương pháp

multiline = """
one
two
three
"""

Out[28]:

multiline = """
one
two
three
"""

Một phương pháp liên quan là

multiline = """
one
two
three
"""

In [29]:

multiline = """
one
two
three
"""

Out[29]:

multiline = """
one
two
three
"""

Lưu ý rằng nếu bạn muốn hoàn tác

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

In [30]:

multiline = """
one
two
three
"""

Một mẫu phổ biến là sử dụng ký tự đặc biệt

multiline = """
one
two
three
"""

In [31]:

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Định dạng chuỗi

Trong các phương pháp trước, chúng tôi đã học được cách trích xuất các giá trị từ các chuỗi và tự thao tác các chuỗi thành các định dạng mong muốn. Một cách sử dụng các phương thức chuỗi là để thao tác các biểu diễn chuỗi của các giá trị của các loại khác. Tất nhiên, các biểu diễn chuỗi luôn có thể được tìm thấy bằng cách sử dụng hàm

multiline = """
one
two
three
"""

In [33]:

multiline = """
one
two
three
"""

Out[33]:

multiline = """
one
two
three
"""

Một cách linh hoạt hơn để làm điều này là sử dụng các chuỗi định dạng, là các chuỗi có các điểm đánh dấu đặc biệt (được ghi nhận bởi niềng răng xoăn) trong đó các giá trị được định dạng chuỗi sẽ được chèn. Đây là một ví dụ cơ bản:

In [34]:

fox = "tHe qUICk bROWn fOx."

Out[34]:

multiline = """
one
two
three
"""

Bên trong điểm đánh dấu

multiline = """
one
two
three
"""

In [35]:

fox = "tHe qUICk bROWn fOx."

Out[35]:

fox = "tHe qUICk bROWn fOx."

Nếu bạn bao gồm một chuỗi, nó sẽ đề cập đến khóa của bất kỳ đối số từ khóa nào:

In [36]:

fox = "tHe qUICk bROWn fOx."

Out[36]:

fox = "tHe qUICk bROWn fOx."

Cuối cùng, đối với các đầu vào số, bạn có thể bao gồm các mã định dạng kiểm soát cách giá trị được chuyển đổi thành một chuỗi. Ví dụ: để in một số dưới dạng điểm nổi với ba chữ số sau điểm thập phân, bạn có thể sử dụng các mục sau:

In [37]:

fox = "tHe qUICk bROWn fOx."

Như trước đây, ở đây "

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Phong cách đặc tả định dạng này rất linh hoạt và các ví dụ ở đây hầu như không làm trầy xước bề mặt của các tùy chọn định dạng có sẵn. Để biết thêm thông tin về cú pháp của các chuỗi định dạng này, hãy xem phần Đặc tả định dạng của tài liệu trực tuyến của Python.

Phù hợp với mô hình linh hoạt với biểu thức thông thường

Các phương pháp của loại

multiline = """
one
two
three
"""

Mục tiêu của tôi ở đây là cung cấp cho bạn một ý tưởng về các loại vấn đề có thể được giải quyết bằng cách sử dụng các biểu thức thông thường, cũng như một ý tưởng cơ bản về cách sử dụng chúng trong Python. Tôi sẽ đề xuất một số tài liệu tham khảo để tìm hiểu thêm về các nguồn lực tiếp theo về các biểu thức thông thường.

Về cơ bản, các biểu thức chính quy là một phương tiện phù hợp với mô hình linh hoạt trong các chuỗi. Nếu bạn thường xuyên sử dụng dòng lệnh, có lẽ bạn đã quen thuộc với loại phù hợp linh hoạt này với ký tự "

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

fox = "tHe qUICk bROWn fOx."

Các biểu thức chính quy khái quát ý tưởng "ký tự đại diện" này thành một loạt các hệ thống phù hợp chuỗi linh hoạt này. Giao diện Python với các biểu thức chính quy được chứa trong mô-đun

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

In [39]:

fox = "tHe qUICk bROWn fOx."

Out[39]:

multiline = """
one
two
three
"""

Ở đây trước tiên chúng tôi đã biên soạn một biểu thức thông thường, sau đó sử dụng nó để phân chia một chuỗi. Giống như phương thức

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Trong trường hợp này, đầu vào là

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Phương pháp

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

In [40]:

line = '         this is the content         '
line.strip()

line = '         this is the content         '
line.strip()

Giống như

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

In [41]:

line = '         this is the content         '
line.strip()

Với điều này, chúng ta có thể thấy rằng phương thức

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

In [43]:

line = '         this is the content         '
line.strip()

Tương tự, phương thức

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

In [44]:

line = '         this is the content         '
line.strip()

Out[44]:

line = '         this is the content         '
line.strip()

Out[45]:

line = '         this is the content         '
line.strip()

Với một chút suy nghĩ, các hoạt động chuỗi gốc khác cũng có thể được chọn là biểu thức thông thường.

Một ví dụ tinh vi hơn

Nhưng, bạn có thể hỏi, tại sao bạn muốn sử dụng cú pháp phức tạp và dài dòng hơn của các biểu thức thông thường hơn là các phương thức chuỗi đơn giản và trực quan hơn? Ưu điểm là các biểu thức thường xuyên mang lại sự linh hoạt hơn nhiều.

Ở đây chúng tôi sẽ xem xét một ví dụ phức tạp hơn: Nhiệm vụ chung là khớp địa chỉ email. Tôi sẽ bắt đầu bằng cách viết một biểu thức chính quy (hơi không thể giải mã), và sau đó đi qua những gì đang diễn ra. Nó đi từ đây:

In [46]:

line = '         this is the content         '
line.strip()

Sử dụng điều này, nếu chúng tôi được cung cấp một dòng từ một tài liệu, chúng tôi có thể nhanh chóng trích xuất những thứ trông giống như địa chỉ email

In [47]:

line = '         this is the content         '
line.strip()

Out[47]:

line = '         this is the content         '
line.strip()

(Lưu ý rằng các địa chỉ này được tạo thành hoàn toàn; có lẽ có những cách tốt hơn để liên lạc với Guido).

Chúng tôi có thể thực hiện các hoạt động tiếp theo, như thay thế các địa chỉ email này bằng một chuỗi khác, có lẽ để ẩn các địa chỉ trong đầu ra:

In [48]:

num = "000000000000435"
num.strip('0')

Out[48]:

num = "000000000000435"
num.strip('0')

Cuối cùng, lưu ý rằng nếu bạn thực sự muốn khớp bất kỳ địa chỉ email nào, biểu thức chính quy trước đó quá đơn giản. Ví dụ, nó chỉ cho phép các địa chỉ làm từ các ký tự chữ và số kết thúc ở một trong một số hậu tố miền phổ biến. Vì vậy, ví dụ, khoảng thời gian được sử dụng ở đây có nghĩa là chúng ta chỉ tìm thấy một phần của địa chỉ:

In [49]:

num = "000000000000435"
num.strip('0')

Điều này sẽ cho thấy cách các biểu thức thông thường không thể tha thứ nếu bạn không cẩn thận! Nếu bạn tìm kiếm trên mạng, bạn có thể tìm thấy một số gợi ý cho các biểu thức thông thường sẽ phù hợp với tất cả các email hợp lệ, nhưng hãy cẩn thận: chúng liên quan nhiều hơn so với biểu thức đơn giản được sử dụng ở đây!

Khái niệm cơ bản về cú pháp biểu thức chính quy

Cú pháp của các biểu thức chính quy là một chủ đề quá lớn cho phần ngắn này. Tuy nhiên, một chút quen thuộc có thể đi một chặng đường dài: Tôi sẽ đi qua một số cấu trúc cơ bản ở đây, và sau đó liệt kê một số tài nguyên hoàn chỉnh hơn mà bạn có thể tìm hiểu thêm. Hy vọng của tôi là Primer nhanh sau đây sẽ cho phép bạn sử dụng các tài nguyên này một cách hiệu quả.

Chuỗi đơn giản được khớp trực tiếp và

Nếu bạn xây dựng một biểu thức thông thường trên một chuỗi các ký tự hoặc chữ số đơn giản, nó sẽ khớp với chuỗi chính xác đó:

Trong & nbsp; [50]:

num = "000000000000435"
num.strip('0')

Một số nhân vật có ý nghĩa đặc biệt

Mặc dù các chữ cái hoặc số đơn giản là các trận đấu trực tiếp, có một số ít các ký tự có ý nghĩa đặc biệt trong các biểu thức chính quy. Họ đang:

num = "000000000000435"
num.strip('0')

Chúng tôi sẽ thảo luận về ý nghĩa của một số trong những điều này trong giây lát. Trong khi đó, bạn nên biết rằng nếu bạn muốn khớp trực tiếp với bất kỳ ký tự nào trong số này, bạn có thể thoát khỏi chúng bằng một cú đánh ngược:

In [51]:

num = "000000000000435"
num.strip('0')

Lời nói đầu

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Sự thay thế như vậy không được thực hiện trong một chuỗi thô:

Vì lý do này, bất cứ khi nào bạn sử dụng dấu gạch chéo ngược trong một biểu thức thông thường, việc sử dụng một chuỗi thô là tốt.

Ký tự đặc biệt có thể khớp với các nhóm ký tự

Giống như ký tự

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Đặt chúng lại với nhau, chúng ta có thể tạo một biểu thức chính quy sẽ khớp với bất kỳ hai chữ cái/chữ số nào có khoảng trắng giữa chúng:

In [54]:

num = "000000000000435"
num.strip('0')

Out[54]:

num = "000000000000435"
num.strip('0')

Ví dụ này bắt đầu gợi ý về sức mạnh và tính linh hoạt của các biểu thức thông thường.

Bảng sau đây liệt kê một vài trong số các ký tự thường hữu ích:

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Đây không phải là một danh sách hoặc mô tả toàn diện; Để biết thêm chi tiết, hãy xem tài liệu cú pháp biểu thức chính quy của Python.

Dấu ngoặc vuông phù hợp với các nhóm ký tự tùy chỉnh

Nếu các nhóm ký tự tích hợp không đủ cụ thể cho bạn, bạn có thể sử dụng dấu ngoặc vuông để chỉ định bất kỳ bộ ký tự nào bạn quan tâm. Ví dụ, sau đây sẽ khớp với bất kỳ nguyên âm chữ thường nào:

In [55]:

num = "000000000000435"
num.strip('0')

Out[55]:

num = "000000000000435"
num.strip('0')

Tương tự, bạn có thể sử dụng dấu gạch ngang để chỉ định một phạm vi: ví dụ,

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

In [56]:

line = "this is the content"
line.center(30)

Wildcards phù hợp với các ký tự lặp đi lặp lại

Nếu bạn muốn khớp một chuỗi với, giả sử, ba ký tự chữ và số liên tiếp, có thể viết, ví dụ,

multiline = """
one
two
three
"""

In [57]:

line = "this is the content"
line.center(30)

Ra [57]:

line = "this is the content"
line.center(30)

Ngoài ra còn có các điểm đánh dấu có sẵn để phù hợp với bất kỳ số lần lặp lại nào - ví dụ: ký tự

multiline = """
one
two
three
"""

In [58]:

line = "this is the content"
line.center(30)

Out[58]:

line = "this is the content"
line.center(30)

Sau đây là bảng của các dấu hiệu lặp lại có sẵn để sử dụng trong các biểu thức thông thường:

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Với những điều cơ bản này, chúng ta hãy quay lại trình bày địa chỉ email của chúng tôi:

In [59]:

line = "this is the content"
line.center(30)

Bây giờ chúng ta có thể hiểu điều này có nghĩa là gì: Chúng ta muốn một hoặc nhiều ký tự chữ và số (

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Nếu bây giờ chúng ta muốn sửa đổi điều này để địa chỉ email Obama khớp, chúng ta có thể làm như vậy bằng cách sử dụng ký hiệu khung vuông:

In [60]:

line = "this is the content"
line.center(30)

Out[60]:

line = "this is the content"
line.center(30)

Chúng tôi đã thay đổi

multiline = """
one
two
three
"""

multiline = """
one
two
three
"""

Đối với các biểu thức thông thường hợp chất như trình kết hợp email của chúng tôi, chúng tôi thường muốn trích xuất các thành phần của chúng hơn là toàn bộ trận đấu. Điều này có thể được thực hiện bằng cách sử dụng dấu ngoặc đơn để nhóm kết quả:

In [61]:

line = "this is the content"
line.center(30)

In [62]:

line = "this is the content"
line.center(30)

Out[62]:

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

Như chúng ta thấy, nhóm này thực sự trích xuất một danh sách các thành phần phụ của địa chỉ email.

Chúng ta có thể đi xa hơn một chút và đặt tên cho các thành phần được trích xuất bằng cú pháp

multiline = """
one
two
three
"""

In [63]:

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

Out[63]:

line = 'the quick brown fox jumped over a lazy dog'
line.find('fox')

Kết hợp những ý tưởng này (cũng như một số cú pháp RegEXP mạnh mẽ mà chúng tôi chưa đề cập ở đây) cho phép bạn linh hoạt và nhanh chóng trích xuất thông tin từ các chuỗi trong Python.

Các nguồn lực khác về biểu thức thường

Các cuộc thảo luận trên chỉ là một cách đối xử nhanh chóng (và khác xa) của chủ đề lớn này. Nếu bạn muốn tìm hiểu thêm, tôi khuyên bạn nên sử dụng các tài nguyên sau:

• Tài liệu gói

  multiline = """
  one
  two
  three
  """
  

  22 của Python: Tôi thấy rằng tôi nhanh chóng quên cách sử dụng các biểu thức thông thường mỗi khi tôi sử dụng chúng. Bây giờ tôi có những điều cơ bản, tôi đã tìm thấy trang này là một nguồn tài nguyên cực kỳ có giá trị để nhớ lại những gì mỗi nhân vật hoặc trình tự cụ thể có nghĩa là trong một biểu thức thông thường.
• Biểu thức chính thức chính thức của Python Howto: Một cách tiếp cận tường thuật hơn đối với các biểu thức thường xuyên trong Python.
• Làm chủ các biểu thức chính quy (Oreilly, 2006) là một cuốn sách hơn 500 trang về chủ đề này. Nếu bạn muốn một cách xử lý thực sự đầy đủ của chủ đề này, đây là tài nguyên cho bạn.

Đối với một số ví dụ về thao tác chuỗi và các biểu thức chính quy trong hành động ở quy mô lớn hơn, hãy xem Pandas: Dữ liệu định hướng cột được dán nhãn, trong đó chúng tôi xem xét việc áp dụng các loại biểu thức này trên các bảng dữ liệu chuỗi trong gói Pandas.