Làm cách nào để lọc dữ liệu văn bản trong python?

Trích xuất số chẵn

Ví dụ đầu tiên, giả sử bạn cần xử lý một danh sách các số nguyên và tạo một danh sách mới chứa các số chẵn. Cách tiếp cận đầu tiên của bạn đối với vấn đề này có thể là sử dụng vòng lặp

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

>>>

filter[function, iterable]

Ở đây,

['a', 'e', 'i', 'o']

Khi bạn gặp đoạn mã như thế này, bạn có thể trích xuất logic lọc thành một hàm vị từ nhỏ và sử dụng nó với

filter[function, iterable]

>>>

filter[function, iterable]

Ở đây,

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

Tìm Số Nguyên Tố

Một ví dụ thú vị khác có thể là trích xuất tất cả các số nguyên tố trong một khoảng nhất định. Để làm điều đó, bạn có thể bắt đầu bằng cách mã hóa một hàm vị từ nhận một số nguyên làm đối số và trả về

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

>>>

filter[function, iterable]

Logic lọc hiện ở trong

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

Với

['a', 'e', 'i', 'o']

filter[function, iterable]

>>>

filter[function, iterable]

Cuộc gọi này đến

filter[function, iterable]

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

Loại bỏ các ngoại lệ trong một mẫu

Khi bạn đang cố gắng mô tả và tóm tắt một mẫu dữ liệu, bạn có thể bắt đầu bằng cách tìm giá trị trung bình hoặc trung bình của dữ liệu đó. Giá trị trung bình là một phép đo xu hướng trung tâm khá phổ biến và thường là cách tiếp cận đầu tiên để phân tích tập dữ liệu. Nó cung cấp cho bạn ý tưởng nhanh về trung tâm hoặc vị trí của dữ liệu

Trong một số trường hợp, giá trị trung bình không phải là thước đo xu hướng trung tâm đủ tốt cho một mẫu nhất định. Giá trị ngoại lệ là một trong những yếu tố ảnh hưởng đến mức độ chính xác của giá trị trung bình. Ngoại lệ là các điểm dữ liệu khác biệt đáng kể so với các quan sát khác trong một mẫu hoặc dân số. Ngoài ra, không có định nghĩa toán học duy nhất cho chúng trong thống kê

Tuy nhiên, trong các mẫu có phân phối chuẩn, các giá trị ngoại lệ thường được định nghĩa là các điểm dữ liệu nằm trên hai độ lệch chuẩn so với giá trị trung bình của mẫu

Bây giờ, giả sử bạn có một mẫu được phân phối bình thường với một số ngoại lệ đang ảnh hưởng đến độ chính xác trung bình. Bạn đã nghiên cứu các ngoại lệ và bạn biết chúng là các điểm dữ liệu không chính xác. Đây là cách bạn có thể sử dụng một vài chức năng từ mô-đun

['a', 'e', 'i', 'o']

filter[function, iterable]

>>>

numbers = [1, 2, 3, 4, 5, 6, 7]

# the lambda function returns True for even numbers 
even_numbers_iterator = filter[lambda x: [x%2 == 0], numbers]

# converting to list
even_numbers = list[even_numbers_iterator]

print[even_numbers]

Trong dòng được đánh dấu, hàm

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

Xác thực mã định danh Python

Bạn cũng có thể sử dụng

filter[function, iterable]

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

Đây là cách bạn có thể sử dụng

filter[function, iterable]

['a', 'e', 'i', 'o']

>>>

['a', 'e', 'i', 'o']

Trong trường hợp này,

filter[function, iterable]

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

filter[function, iterable]

Ghi chú. Bên cạnh

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

Cuối cùng, một bài tập thú vị có thể là lấy thêm ví dụ và kiểm tra xem mã định danh cũng là một từ khóa. Đi trước và cung cấp cho nó một thử. Gợi ý. bạn có thể sử dụng

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

Tìm từ Palindrome

Một bài tập thường phát sinh khi bạn làm quen với các chuỗi Python là tìm các từ nhạt màu trong danh sách các chuỗi. Một từ palindrome đọc ngược giống như chuyển tiếp. Ví dụ điển hình là “madam” và “racecar. ”

Để giải quyết vấn đề này, bạn sẽ bắt đầu bằng cách viết mã một hàm vị ngữ nhận vào một chuỗi và kiểm tra xem nó có đọc giống nhau theo cả hai hướng ngược và xuôi không. Đây là một triển khai có thể

>>>

['a', 'e', 'i', 'o']

Trong

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

['a', 'e', 'i', 'o']

Bạn đã có một hàm vị ngữ đang hoạt động để xác định các từ màu nhạt. Đây là cách bạn có thể sử dụng

filter[function, iterable]

>>>

['a', 'e', 'i', 'o']

Mát lạnh. Sự kết hợp giữa

filter[function, iterable]

['a', 'e', 'i', 'o']

Bình phương của số chẵn.

filter[function, iterable]

34 và

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

14

Đôi khi, bạn cần thực hiện một lần lặp, xử lý từng mục của nó bằng hàm chuyển đổi và tạo một lần lặp mới với các mục kết quả. Trong trường hợp đó, bạn có thể sử dụng

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

['a', 'e', 'i', 'o']

Các đối số hoạt động như thế này

1. ['a', 'e', 'i', 'o']

   07 giữ chức năng chuyển đổi. Hàm này sẽ nhận nhiều đối số như số lần lặp mà bạn chuyển vào

   letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']
   
   # a function that returns True if letter is vowel
   def filter_vowels[letter]:
       vowels = ['a', 'e', 'i', 'o', 'u']
       return True if letter in vowels else False
   
   filtered_vowels = filter[filter_vowels, letters]
   
   # converting to tuple
   vowels = tuple[filtered_vowels]
   print[vowels]

   14

2. filter[function, iterable]

   54 giữ một Python iterable. Lưu ý rằng bạn có thể cung cấp một số lần lặp lại cho

   letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']
   
   # a function that returns True if letter is vowel
   def filter_vowels[letter]:
       vowels = ['a', 'e', 'i', 'o', 'u']
       return True if letter in vowels else False
   
   filtered_vowels = filter[filter_vowels, letters]
   
   # converting to tuple
   vowels = tuple[filtered_vowels]
   print[vowels]

   14, nhưng đó là tùy chọn

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

['a', 'e', 'i', 'o']

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

Để minh họa cách bạn có thể sử dụng

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

  



# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

>>>

['a', 'e', 'i', 'o']

Đầu tiên, bạn lấy các số chẵn bằng cách sử dụng

filter[function, iterable]

['a', 'e', 'i', 'o']

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

filter[function, iterable]

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

Tổng các số chẵn.

filter[function, iterable]

34 và

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

16

Một công cụ lập trình chức năng khác trong Python là

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

filter[function, iterable]

Chữ ký của

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

['a', 'e', 'i', 'o']

Đây là ý nghĩa của các đối số

1. ['a', 'e', 'i', 'o']

   07 giữ bất kỳ Python nào có thể gọi được chấp nhận hai đối số và trả về một giá trị

2. filter[function, iterable]

   54 giữ bất kỳ Python iterable nào

3. filter[function, iterable]

   321 giữ một giá trị đóng vai trò là điểm bắt đầu cho phép tính hoặc giảm một phần đầu tiên. Đó là một đối số tùy chọn

Một cuộc gọi đến

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

['a', 'e', 'i', 'o']

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

filter[function, iterable]

Nếu bạn cung cấp một giá trị cho

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

filter[function, iterable]

filter[function, iterable]

Đây là một ví dụ kết hợp

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

>>>

['a', 'e', 'i', 'o']

Ở đây, lệnh gọi đầu tiên tới

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

Ví dụ cuối cùng cho thấy cách xâu chuỗi

filter[function, iterable]

letters = ['a', 'b', 'd', 'e', 'i', 'j', 'o']

# a function that returns True if letter is vowel
def filter_vowels[letter]:
    vowels = ['a', 'e', 'i', 'o', 'u']
    return True if letter in vowels else False

filtered_vowels = filter[filter_vowels, letters]

# converting to tuple
vowels = tuple[filtered_vowels]
print[vowels]

Trích xuất số lẻ

Bạn đã mã hóa một hàm vị từ có tên là

['a', 'e', 'i', 'o']

filter[function, iterable]

filter[function, iterable]

>>>

['a', 'e', 'i', 'o']

Trong ví dụ này,

filter[function, iterable]

filter[function, iterable]

Lọc ra các giá trị NaN

Đôi khi, khi bạn đang làm việc với số học dấu phẩy động, bạn có thể gặp phải vấn đề có các giá trị NaN [không phải số]. Ví dụ: giả sử bạn đang tính giá trị trung bình của một mẫu dữ liệu chứa các giá trị NaN. Nếu bạn sử dụng mô-đun

['a', 'e', 'i', 'o']

>>>

['a', 'e', 'i', 'o']

Trong ví dụ này, lệnh gọi tới

filter[function, iterable]

filter[function, iterable]

Mô-đun

filter[function, iterable]

filter[function, iterable]

filter[function, iterable]

['a', 'e', 'i', 'o']

filter[function, iterable]

['a', 'e', 'i', 'o']

filter[function, iterable]

>>>

['a', 'e', 'i', 'o']

Sử dụng

filter[function, iterable]

filter[function, iterable]

filter[function, iterable]

Thay thế

filter[function, iterable]

34 bằng cách hiểu danh sách

Bạn có thể sử dụng mẫu sau để nhanh chóng thay thế lệnh gọi tới

filter[function, iterable]

filter[function, iterable]

Trong cả hai trường hợp, mục đích cuối cùng là tạo một đối tượng danh sách. Cách tiếp cận hiểu danh sách rõ ràng hơn cấu trúc

filter[function, iterable]

filter[function, iterable]

Sử dụng khả năng hiểu danh sách thay vì

filter[function, iterable]

filter[function, iterable]

filter[function, iterable]

Một chi tiết cần lưu ý khi chuyển cấu trúc

filter[function, iterable]

numbers = [1, 2, 3, 4, 5, 6, 7]

# the lambda function returns True for even numbers 
even_numbers_iterator = filter[lambda x: [x%2 == 0], numbers]

# converting to list
even_numbers = list[even_numbers_iterator]

print[even_numbers]

filter[function, iterable]

filter[function, iterable]

Trong trường hợp này, mệnh đề

filter[function, iterable]

filter[function, iterable]

Đây là một ví dụ về việc thay thế

filter[function, iterable]

>>>

filter[function, iterable]

Trong ví dụ này, bạn có thể thấy rằng biến thể hiểu danh sách rõ ràng hơn. Nó đọc gần giống như tiếng Anh đơn giản. Giải pháp hiểu danh sách cũng tránh phải gọi

filter[function, iterable]

Thay thế

filter[function, iterable]

34 bằng biểu thức trình tạo

Sự thay thế tự nhiên cho

filter[function, iterable]

filter[function, iterable]

filter[function, iterable]

Đây là cách bạn có thể sử dụng các biểu thức trình tạo để viết ví dụ trong phần trên

>>>

filter[function, iterable]

Biểu thức trình tạo hiệu quả như lệnh gọi tới

filter[function, iterable]