Bạn có thể đếm số từ trong một tệp văn bản bằng Python bằng cách làm theo trình tự các bước mà chúng ta sẽ thảo luận trong hướng dẫn này
Trong hướng dẫn này, chúng ta sẽ học cách đếm số từ trong tệp văn bản, sử dụng các chương trình mẫu Python
Các bước để đếm số từ trong tệp văn bản
Để đếm số từ trong một tệp văn bản, hãy làm theo các bước sau
- Mở tệp ở chế độ đọc và xử lý ở chế độ văn bản
- Đọc văn bản bằng hàm read[]
- Tách văn bản bằng dấu cách. Chúng tôi giả sử rằng các từ trong câu được phân tách bằng ký tự khoảng trắng
- Độ dài của danh sách phân chia phải bằng số lượng từ trong tệp văn bản
- Bạn có thể tinh chỉnh số lượng bằng cách làm sạch chuỗi trước khi tách hoặc xác thực các từ sau khi tách
ví dụ 1. Đếm Số Từ
Trong ví dụ Python này, chúng ta sẽ đọc một tệp văn bản và đếm số từ trong đó. Xét tệp văn bản sau
Tệp văn bản
Welcome to pythonexamples.org. Here, you will find python programs for all general use cases.Chương trình Python
file = open["C:\data.txt", "rt"]
data = file.read[]
words = data.split[]
print['Number of words in text file :', len[words]]đầu ra
Number of words in text file : 14ví dụ 2. Đếm số từ trong tệp văn bản có nhiều dòng
Trong ví dụ Python này, chúng ta sẽ đọc một tệp văn bản có nhiều dòng và đếm số từ trong đó. Xét tệp văn bản sau
Ký tự dòng mới phân tách các dòng trong tệp văn bản. Dòng mới là một ký tự khoảng trắng và khi chúng ta tách toàn bộ dữ liệu trong tệp văn bản bằng phương thức split[], tất cả các từ trong tất cả các câu đều được tách và trả về dưới dạng một danh sách
File văn bản – dữ liệu. txt
Welcome to www.pythonexamples.org. Here, you will find python programs for all general use cases.
This is another line with some words.Chương trình Python
file = open["C:\data.txt", "rt"]
data = file.read[]
words = data.split[]
print['Number of words in text file :', len[words]]đầu ra
Number of words in text file : 21Bản tóm tắt
Trong hướng dẫn về Ví dụ Python này, chúng ta đã học cách đếm số từ trong Tệp văn bản, với sự trợ giúp của các chương trình ví dụ
Trong hướng dẫn này, bạn sẽ học cách sử dụng Python để đếm số lượng từ và tần số từ trong cả chuỗi và tệp văn bản. Có thể đếm từ và tần số từ là một kỹ năng hữu ích. Ví dụ: biết cách thực hiện điều này có thể quan trọng trong các thuật toán học máy phân loại văn bản
Đến cuối hướng dẫn này, bạn sẽ học được
- Cách đếm số từ trong một chuỗi
- Cách đếm số từ trong một tệp văn bản
- Cách tính tần số từ bằng Python
Mục lục
Đọc một tệp văn bản trong Python
Các quy trình đếm từ và tính toán tần số từ được hiển thị bên dưới giống nhau cho dù bạn đang xem xét một chuỗi hay toàn bộ tệp văn bản. Do đó, phần này sẽ mô tả ngắn gọn cách đọc tệp văn bản trong Python
Nếu bạn muốn có hướng dẫn chuyên sâu hơn về cách đọc tệp văn bản trong Python, hãy xem hướng dẫn này tại đây. Đây là một đoạn mã nhanh mà bạn có thể sử dụng để tải nội dung của tệp văn bản vào chuỗi Python
# Reading a Text File in Python
file_path = '/Users/datagy/Desktop/sample_text.txt'
with open[file_path] as file:
text = file.read[]Tôi khuyến khích bạn xem hướng dẫn để tìm hiểu lý do và cách thức hoạt động của phương pháp này. Tuy nhiên, nếu bạn đang vội, chỉ cần biết rằng quy trình sẽ mở tệp, đọc nội dung của tệp rồi đóng tệp lại
Đếm số từ trong Python bằng split[]
Một trong những cách đơn giản nhất để đếm số từ trong chuỗi Python là sử dụng hàm
Welcome to www.pythonexamples.org. Here, you will find python programs for all general use cases.
This is another line with some words.# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]Theo mặc định, Python sẽ coi các khoảng trắng liên tiếp là một dấu phân cách duy nhất. Điều này có nghĩa là nếu chuỗi của chúng tôi có nhiều khoảng trắng, thì chúng chỉ được coi là một dấu phân cách duy nhất. Hãy xem những gì phương thức này trả về
________số 8Chúng ta có thể thấy rằng phương thức hiện trả về một danh sách các mục. Vì chúng ta có thể sử dụng hàm
Welcome to www.pythonexamples.org. Here, you will find python programs for all general use cases.
This is another line with some words.# Counting words with .split[]
text = 'Welcome to datagy! Here you will learn Python and data science.'
print[len[text.split[]]]
# Returns: 11Đếm số từ trong Python bằng Regex
Một cách đơn giản khác để đếm số từ trong chuỗi Python là sử dụng thư viện biểu thức chính quy,
# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]Bởi vì chúng ta có thể sử dụng biểu thức chính quy để tìm kiếm các mẫu, trước tiên chúng ta phải xác định mẫu của mình. Trong trường hợp này, chúng tôi muốn các mẫu ký tự chữ và số được phân tách bằng khoảng trắng
Đối với điều này, chúng ta có thể sử dụng mẫu
# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]Hãy xem cách chúng ta có thể sử dụng phương pháp này để tạo số từ bằng thư viện biểu thức chính quy,
# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]file = open["C:\data.txt", "rt"]
data = file.read[]
words = data.split[]
print['Number of words in text file :', len[words]]Tính tần số từ trong Python
Để tính toán tần số từ, chúng ta có thể sử dụng lớp defaultdict hoặc lớp Counter. Tần số từ thể hiện tần suất một từ nhất định xuất hiện trong một đoạn văn bản
Sử dụng defaultdict để tính tần số từ trong Python
Hãy xem cách chúng ta có thể sử dụng defaultdict để tính toán tần số từ trong Python. Phần mở rộng defaultdict trên từ điển Python thông thường bằng cách cung cấp các chức năng hữu ích để khởi tạo các khóa bị thiếu
Do đó, chúng ta có thể lặp lại một đoạn văn bản và đếm số lần xuất hiện của mỗi từ. Hãy xem cách chúng ta có thể sử dụng nó để tạo tần số từ cho một chuỗi nhất định
file = open["C:\data.txt", "rt"]
data = file.read[]
words = data.split[]
print['Number of words in text file :', len[words]]Hãy phá vỡ những gì chúng tôi đã làm ở đây
- Chúng tôi đã nhập cả hàm
6 và thư viện# Understanding the split[] function str.split[ sep=None # The delimiter to split on maxsplit=-1 # The number of times to split ]
0# Understanding the split[] function str.split[ sep=None # The delimiter to split on maxsplit=-1 # The number of times to split ] - Chúng tôi đã tải một số văn bản và khởi tạo một defaultdict bằng hàm nhà máy
8# Understanding the split[] function str.split[ sep=None # The delimiter to split on maxsplit=-1 # The number of times to split ] - Sau đó, chúng tôi lặp lại từng từ trong danh sách từ và thêm một từ cho mỗi lần nó xuất hiện
Sử dụng bộ đếm để tạo tần số từ trong Python
Một cách khác để làm điều này là sử dụng lớp
# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]Number of words in text file : 14Hãy phá vỡ những gì chúng tôi đã làm ở đây
- Chúng tôi đã nhập các thư viện và lớp học cần thiết
- Chúng tôi đã chuyển danh sách kết quả từ hàm
1 vào lớp# Understanding the split[] function str.split[ sep=None # The delimiter to split on maxsplit=-1 # The number of times to split ]
9# Understanding the split[] function str.split[ sep=None # The delimiter to split on maxsplit=-1 # The number of times to split ] - Chúng tôi đã in kết quả của lớp này
Một trong những lợi ích của việc này là chúng ta có thể dễ dàng tìm thấy từ phổ biến nhất bằng cách sử dụng hàm
# Splitting a string with .split[]
text = 'Welcome to datagy! Here you will learn Python and data science.'
print[text.split[]]
# Returns: ['Welcome', 'to', 'datagy!', 'Here', 'you', 'will', 'learn', 'Python', 'and', 'data', 'science.']Number of words in text file : 14Sự kết luận
Trong hướng dẫn này, bạn đã học cách tạo số từ và tần số từ bằng Python. Bạn đã học được một số cách khác nhau để đếm từ bao gồm sử dụng phương pháp
# Splitting a string with .split[]
text = 'Welcome to datagy! Here you will learn Python and data science.'
print[text.split[]]
# Returns: ['Welcome', 'to', 'datagy!', 'Here', 'you', 'will', 'learn', 'Python', 'and', 'data', 'science.']# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]# Understanding the split[] function
str.split[
sep=None # The delimiter to split on
maxsplit=-1 # The number of times to split
]