Làm cách nào để đọc một URL trong Python?

Xây dựng công cụ quét web đầu tiên của bạn

Một gói hữu ích để quét web mà bạn có thể tìm thấy trong thư viện chuẩn của Python là

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Trong cửa sổ tương tác của IDLE, hãy nhập nội dung sau để nhập

>>> title_index = html.find[""]
>>> title_index
14

>>>

>>> from urllib.request import urlopen

Trang web mà bạn sẽ mở nằm ở URL sau

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Để mở trang web, chuyển

>>> start_index = title_index + len[""]
>>> start_index
21

>>> title_index = html.find[""]
>>> title_index
14

>>>

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> start_index = title_index + len[""]
>>> start_index
21

>>>

>>> title_index = html.find[""]
>>> title_index
14

Để trích xuất HTML từ trang, trước tiên hãy sử dụng phương thức

>>> start_index = title_index + len[""]
>>> start_index
21

>>> start_index = title_index + len[""]
>>> start_index
21

>>> start_index = title_index + len[""]
>>> start_index
21

>>>

>>> title_index = html.find[""]
>>> title_index
14

Bây giờ bạn có thể in HTML để xem nội dung của trang web

>>>

>>> title_index = html.find[""]
>>> title_index
14

Đầu ra mà bạn đang thấy là mã HTML của trang web mà trình duyệt của bạn hiển thị khi bạn truy cập

>>> start_index = title_index + len[""]
>>> start_index
21

Với

>>> title_index = html.find[""]
>>> title_index
14

Trích xuất văn bản từ HTML bằng các phương thức chuỗi

Một cách để trích xuất thông tin từ HTML của trang web là sử dụng các phương thức chuỗi. Chẳng hạn, bạn có thể sử dụng

>>> start_index = title_index + len[""]
>>> start_index
21

>>> title_index = html.find[""]
>>> title_index
14

Để bắt đầu, bạn sẽ trích xuất tiêu đề của trang web mà bạn đã yêu cầu trong ví dụ trước. Nếu bạn biết chỉ mục của ký tự đầu tiên của tiêu đề và chỉ mục của ký tự đầu tiên của thẻ đóng

>>> title_index = html.find[""]
>>> title_index
14

Vì

>>> start_index = title_index + len[""]
>>> start_index
21

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> start_index = title_index + len[""]
>>> start_index
21

>>>

>>> title_index = html.find[""]
>>> title_index
14

Tuy nhiên, bạn không muốn chỉ mục của thẻ

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>>

>>> start_index = title_index + len[""]
>>> start_index
21

Bây giờ hãy lấy chỉ mục của thẻ đóng

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> start_index = title_index + len[""]
>>> start_index
21

>>>

>>> title_index = html.find[""]
>>> title_index
14

Cuối cùng, bạn có thể trích xuất tiêu đề bằng cách cắt chuỗi

>>> title_index = html.find[""]
>>> title_index
14

>>>

>>> title_index = html.find[""]
>>> title_index
14

HTML trong thế giới thực có thể phức tạp hơn nhiều và khó dự đoán hơn nhiều so với HTML trên trang hồ sơ Aphrodite. Đây là một trang hồ sơ khác với một số HTML lộn xộn hơn mà bạn có thể cạo

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Hãy thử trích xuất tiêu đề từ URL mới này bằng phương pháp tương tự như trong ví dụ trước

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Rất tiếc. Có một chút HTML trộn lẫn với tiêu đề. Tại sao vậy?

HTML cho trang

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Ký tự tại chỉ mục

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> title_index = html.find[""]
>>> title_index
14

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> title_index = html.find[""]
>>> title_index
14

Những loại vấn đề này có thể xảy ra theo vô số cách không thể đoán trước. Bạn cần một cách đáng tin cậy hơn để trích xuất văn bản từ HTML

Làm quen với biểu thức chính quy

Cụm từ thông dụng—hay gọi tắt là biểu thức chính quy—là các mẫu mà bạn có thể sử dụng để tìm kiếm văn bản trong một chuỗi. Python hỗ trợ các biểu thức chính quy thông qua mô-đun

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Ghi chú. Biểu thức chính quy không dành riêng cho Python. Chúng là một khái niệm lập trình chung và được hỗ trợ trong nhiều ngôn ngữ lập trình

Để làm việc với các biểu thức chính quy, điều đầu tiên bạn cần làm là nhập mô-đun

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Biểu thức chính quy sử dụng các ký tự đặc biệt được gọi là siêu ký tự để biểu thị các mẫu khác nhau. Chẳng hạn, ký tự dấu hoa thị [_______515] là viết tắt của 0 hoặc nhiều trường hợp của bất kỳ thứ gì xuất hiện ngay trước dấu hoa thị

Trong ví dụ sau, bạn sử dụng

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Đối số đầu tiên của

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Biểu thức chính quy

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Đây là cùng một mẫu được áp dụng cho các chuỗi khác nhau

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Lưu ý rằng nếu không tìm thấy kết quả khớp, thì

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Khớp mẫu có phân biệt chữ hoa chữ thường. Nếu bạn muốn khớp mẫu này bất kể trường hợp nào, thì bạn có thể chuyển đối số thứ ba có giá trị

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Bạn có thể sử dụng dấu chấm [

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Mẫu

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Thông thường, bạn sử dụng

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Các chi tiết của

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Có thêm một chức năng trong mô-đun

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Các đối số được truyền cho

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Có lẽ đó không phải là những gì bạn mong đợi sẽ xảy ra

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> title_index = html.find[""]
>>> title_index
14

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Ngoài ra, bạn có thể sử dụng mẫu so khớp không tham lam

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> page = urlopen[url]

Lần này,

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Trích xuất văn bản từ HTML bằng biểu thức chính quy

Được trang bị tất cả những kiến ​​thức này, bây giờ hãy thử phân tích tiêu đề từ một trang hồ sơ khác, bao gồm dòng HTML được viết khá cẩu thả này

>>> page = urlopen[url]

Phương thức

>>> start_index = title_index + len[""]
>>> start_index
21

>>> page = urlopen[url]

Hãy xem xét kỹ hơn biểu thức chính quy đầu tiên trong chuỗi

>>> url = "//olympus.realpython.org/profiles/aphrodite"

1. >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   61 khớp với thẻ mở đầu

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   62 trong

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   22. Phần

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   64 của mẫu khớp với

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   65 vì

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   35 được gọi với

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   27 và

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   68 khớp với bất kỳ văn bản nào sau

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   65 cho đến phiên bản đầu tiên của

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   26

2. >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   71 không tham lam khớp tất cả văn bản sau phần mở đầu

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   62, dừng ở phần khớp đầu tiên cho

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   73

3. >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   73 chỉ khác với mẫu đầu tiên ở việc sử dụng ký tự

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   75, do đó, nó khớp với thẻ đóng

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   76 trong

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   22

Biểu thức chính quy thứ hai, chuỗi

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Ghi chú. Quét web bằng Python hoặc bất kỳ ngôn ngữ nào khác có thể rất tẻ nhạt. Không có hai trang web nào được tổ chức theo cùng một cách và HTML thường lộn xộn. Hơn nữa, các trang web thay đổi theo thời gian. Công cụ quét web hoạt động ngày hôm nay không được bảo đảm sẽ hoạt động vào năm tới—hoặc tuần tới, vì vấn đề đó

Biểu thức chính quy là một công cụ mạnh mẽ khi được sử dụng đúng cách. Trong phần giới thiệu này, bạn hầu như không làm trầy xước bề mặt. Để biết thêm về biểu thức chính quy và cách sử dụng chúng, hãy xem loạt bài gồm hai phần Biểu thức chính quy. Regex trong Python

Kiểm tra việc hiểu của bạn

Mở rộng khối bên dưới để kiểm tra sự hiểu biết của bạn

Tập thể dục. Cạo dữ liệu từ một trang webHiển thị/Ẩn

Viết chương trình lấy toàn bộ HTML từ URL sau

>>>

>>> page = urlopen[url]

Sau đó sử dụng

>>> start_index = title_index + len[""]
>>> start_index
21

Bạn có thể mở rộng khối bên dưới để xem giải pháp

Giải pháp. Cạo dữ liệu từ một trang webHiển thị/Ẩn

Đầu tiên, nhập hàm

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> page = urlopen[url]

Sau đó mở URL và sử dụng phương thức

>>> start_index = title_index + len[""]
>>> start_index
21

>>> start_index = title_index + len[""]
>>> start_index
21

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

Phương thức

>>> start_index = title_index + len[""]
>>> start_index
21

>>> start_index = title_index + len[""]
>>> start_index
21

Bây giờ bạn đã có nguồn HTML của trang web dưới dạng một chuỗi được gán cho biến

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Bạn có thể lấy tên bằng cách tìm chuỗi

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Vòng lặp

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> page = urlopen[url]

Có vẻ như có rất nhiều thứ đang diễn ra trong vòng lặp

>>> url = "//olympus.realpython.org/profiles/aphrodite"

1. Bạn sử dụng

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   97 để tìm chỉ mục bắt đầu của chuỗi, hoặc là

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   92 hoặc là

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   99, sau đó gán chỉ mục cho

   >>> page = urlopen[url]
   

   00

2. Vì văn bản cần trích xuất bắt đầu ngay sau dấu hai chấm trong

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   92 hoặc

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   99, nên bạn lấy chỉ mục của ký tự ngay sau dấu hai chấm bằng cách thêm độ dài của chuỗi vào

   >>> page = urlopen[url]
   

   03, rồi gán kết quả cho

   >>> page = urlopen[url]
   

   04

3. Bạn tính toán chỉ số kết thúc của văn bản cần trích xuất bằng cách xác định chỉ số của dấu ngoặc nhọn đầu tiên [

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   09] so với

   >>> page = urlopen[url]
   

   04 và gán giá trị này cho

   >>> page = urlopen[url]
   

   07. Sau đó, bạn thêm giá trị đó vào

   >>> page = urlopen[url]
   

   04 và gán kết quả cho

   >>> page = urlopen[url]
   

   09

4. Bạn trích xuất văn bản bằng cách cắt

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   91 từ

   >>> page = urlopen[url]
   

   04 thành

   >>> page = urlopen[url]
   

   09 và gán chuỗi này cho

   >>> page = urlopen[url]
   

   13

5. Bạn xóa mọi khoảng trắng ở đầu và cuối của

   >>> page = urlopen[url]
   

   13 bằng cách sử dụng

   >>> page = urlopen[url]
   

   15 và gán kết quả cho

   >>> page = urlopen[url]
   

   16

Khi kết thúc vòng lặp, bạn sử dụng

>>> page = urlopen[url]

>>> page = urlopen[url]

Giải pháp này là một trong nhiều giải pháp giải quyết vấn đề này, vì vậy nếu bạn nhận được kết quả tương tự với một giải pháp khác, thì bạn đã làm rất tốt

Khi bạn đã sẵn sàng, bạn có thể chuyển sang phần tiếp theo

Cài Đặt Súp Đẹp

Để cài đặt Beautiful Soup, bạn có thể chạy lệnh sau trong thiết bị đầu cuối của mình

>>> page = urlopen[url]

Với lệnh này, bạn đang cài đặt phiên bản Beautiful Soup mới nhất vào môi trường Python toàn cầu của mình

Tạo đối tượng

>>> page = urlopen[url]

18

Nhập chương trình sau vào cửa sổ soạn thảo mới

>>> page = urlopen[url]

Chương trình này thực hiện ba điều

1. Mở URL

   >>> page = urlopen[url]
   

   19 bằng cách sử dụng

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   8 từ mô-đun

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   7

2. Đọc HTML từ trang dưới dạng chuỗi và gán nó cho biến

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   22

3. Tạo một đối tượng

   >>> page = urlopen[url]
   

   18 và gán nó cho biến

   >>> page = urlopen[url]
   

   24

Đối tượng

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

Sử dụng đối tượng

>>> page = urlopen[url]

18

Lưu và chạy chương trình trên. Khi chạy xong, bạn có thể sử dụng biến

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

Ghi chú. Nếu bạn không sử dụng IDLE, thì bạn có thể chạy chương trình của mình với cờ

>>> page = urlopen[url]

>>> page = urlopen[url]

Ví dụ: các đối tượng

>>> page = urlopen[url]

>>> page = urlopen[url]

Nhập mã sau vào cửa sổ tương tác của IDLE hoặc ở cuối mã trong trình chỉnh sửa của bạn

>>>

>>> title_index = html.find[""]
>>> title_index
14

Có rất nhiều dòng trống trong đầu ra này. Đây là kết quả của các ký tự xuống dòng trong văn bản của tài liệu HTML. Bạn có thể xóa chúng bằng phương thức chuỗi

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Thông thường, bạn chỉ cần lấy văn bản cụ thể từ tài liệu HTML. Trước tiên, sử dụng Beautiful Soup để trích xuất văn bản và sau đó sử dụng phương pháp chuỗi

>>> start_index = title_index + len[""]
>>> start_index
21

Tuy nhiên, những lần khác, chính các thẻ HTML là các yếu tố chỉ ra dữ liệu bạn muốn truy xuất. Chẳng hạn, có lẽ bạn muốn truy xuất URL cho tất cả các hình ảnh trên trang. Các liên kết này được chứa trong thuộc tính

>>> page = urlopen[url]

>>> page = urlopen[url]

Trong trường hợp này, bạn có thể sử dụng

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Điều này trả về một danh sách tất cả các thẻ

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

Bạn có thể khám phá điều này một chút trước tiên bằng cách giải nén các đối tượng

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Mỗi đối tượng

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Bạn có thể truy cập các thuộc tính HTML của đối tượng

>>> page = urlopen[url]

Ví dụ: thẻ

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

Để lấy nguồn ảnh trong trang hồ sơ Dionysus, bạn truy cập thuộc tính

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Một số thẻ trong tài liệu HTML có thể được truy cập bởi các thuộc tính của đối tượng

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Nếu bạn xem nguồn của hồ sơ Dionysus bằng cách điều hướng đến trang hồ sơ, nhấp chuột phải vào trang và chọn Xem nguồn trang, thì bạn sẽ nhận thấy rằng thẻ

>>> title_index = html.find[""]
>>> title_index
14

Beautiful Soup tự động dọn sạch các thẻ cho bạn bằng cách loại bỏ khoảng trống thừa trong thẻ mở và dấu gạch chéo lên phía trước không liên quan [

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Bạn cũng có thể chỉ truy xuất chuỗi giữa các thẻ tiêu đề với thuộc tính

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Một trong những tính năng của Beautiful Soup là khả năng tìm kiếm các loại thẻ cụ thể có thuộc tính khớp với các giá trị nhất định. Ví dụ: nếu bạn muốn tìm tất cả các thẻ

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Ví dụ này hơi tùy ý và tính hữu ích của kỹ thuật này có thể không rõ ràng từ ví dụ. Nếu bạn dành thời gian duyệt các trang web khác nhau và xem nguồn trang của chúng, thì bạn sẽ nhận thấy rằng nhiều trang web có cấu trúc HTML cực kỳ phức tạp

Khi cạo dữ liệu từ các trang web bằng Python, bạn thường quan tâm đến các phần cụ thể của trang. Bằng cách dành thời gian xem qua tài liệu HTML, bạn có thể xác định các thẻ có thuộc tính duy nhất mà bạn có thể sử dụng để trích xuất dữ liệu mình cần

Sau đó, thay vì dựa vào các biểu thức chính quy phức tạp hoặc sử dụng

>>> start_index = title_index + len[""]
>>> start_index
21

Trong một số trường hợp, bạn có thể thấy rằng Beautiful Soup không cung cấp chức năng mà bạn cần. Thư viện lxml hơi khó bắt đầu hơn nhưng cung cấp tính linh hoạt hơn nhiều so với Beautiful Soup để phân tích tài liệu HTML. Bạn có thể muốn kiểm tra nó sau khi cảm thấy thoải mái khi sử dụng Beautiful Soup

Ghi chú. Các trình phân tích cú pháp HTML như Beautiful Soup có thể giúp bạn tiết kiệm rất nhiều thời gian và công sức khi định vị dữ liệu cụ thể trong các trang web. Tuy nhiên, đôi khi HTML được viết kém và lộn xộn đến mức ngay cả một trình phân tích cú pháp tinh vi như Beautiful Soup cũng không thể diễn giải đúng các thẻ HTML

Trong trường hợp này, bạn thường phải sử dụng

>>> start_index = title_index + len[""]
>>> start_index
21

Beautiful Soup rất tốt để thu thập dữ liệu từ HTML của trang web, nhưng nó không cung cấp bất kỳ cách nào để làm việc với biểu mẫu HTML. Ví dụ: nếu bạn cần tìm kiếm một số truy vấn trên một trang web và sau đó thu thập kết quả, thì một mình Beautiful Soup sẽ không giúp bạn tiến xa được

Kiểm tra việc hiểu của bạn

Mở rộng khối bên dưới để kiểm tra sự hiểu biết của bạn

Tập thể dục. Phân tích cú pháp HTML bằng Beautiful SoupHiển thị/Ẩn

Viết chương trình lấy toàn bộ HTML từ trang tại URL

>>> page = urlopen[url]

Sử dụng Beautiful Soup, in ra danh sách tất cả các liên kết trên trang bằng cách tìm kiếm các thẻ HTML có tên

>>> page = urlopen[url]

>>> page = urlopen[url]

Đầu ra cuối cùng sẽ trông như thế này

>>> title_index = html.find[""]
>>> title_index
14

Đảm bảo rằng bạn chỉ có một dấu gạch chéo [

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Bạn có thể mở rộng khối bên dưới để xem giải pháp

Giải pháp. Phân tích cú pháp HTML bằng Beautiful SoupHiển thị/Ẩn

Đầu tiên, nhập hàm

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

Mỗi URL liên kết trên trang

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

Bạn có thể tạo một URL đầy đủ bằng cách nối

>>> page = urlopen[url]

Bây giờ hãy mở trang

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> start_index = title_index + len[""]
>>> start_index
21

>>> title_index = html.find[""]
>>> title_index
14

Với nguồn HTML được tải xuống và giải mã, bạn có thể tạo một đối tượng

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

Bạn có thể truy cập URL tương đối cho mỗi liên kết thông qua chỉ số phụ

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

Khi bạn đã sẵn sàng, bạn có thể chuyển sang phần tiếp theo

Cài đặt MechanicalSoup

Bạn có thể cài đặt MechanicalSoup với

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

Bạn sẽ cần đóng và khởi động lại phiên IDLE của mình để MechanicalSoup tải và được nhận dạng sau khi cài đặt

Tạo đối tượng

>>> page = urlopen[url]

89

Nhập nội dung sau vào cửa sổ tương tác của IDLE

>>>

>>> title_index = html.find[""]
>>> title_index
14

Các đối tượng

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Số

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

MechanicalSoup sử dụng Beautiful Soup để phân tích cú pháp HTML từ yêu cầu và

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Bạn có thể xem HTML bằng cách kiểm tra thuộc tính

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Lưu ý rằng trang này có một

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Gửi biểu mẫu với MechanicalSoup

Mở trang

>>> title_index = html.find[""]
>>> title_index
14

Hãy thử nhập kết hợp tên người dùng và mật khẩu ngẫu nhiên. Nếu bạn đoán sai, thì thông báo Sai tên người dùng hoặc mật khẩu. được hiển thị ở dưới cùng của trang

Tuy nhiên, nếu bạn cung cấp thông tin đăng nhập chính xác thì bạn sẽ được chuyển hướng đến trang

>>> page = urlopen[url]

Tên người dùngMật khẩu

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Trong ví dụ tiếp theo, bạn sẽ thấy cách sử dụng MechanicalSoup để điền và gửi biểu mẫu này bằng Python

Phần quan trọng của mã HTML là biểu mẫu đăng nhập—nghĩa là mọi thứ bên trong thẻ

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Bây giờ bạn đã biết cấu trúc cơ bản của biểu mẫu đăng nhập, cũng như thông tin đăng nhập cần thiết để đăng nhập, hãy xem một chương trình điền vào biểu mẫu và gửi biểu mẫu đó

Trong cửa sổ soạn thảo mới, gõ vào chương trình sau

>>> title_index = html.find[""]
>>> title_index
14

Lưu tệp và nhấn F5 để chạy tệp. Để xác nhận rằng bạn đã đăng nhập thành công, hãy nhập thông tin sau vào cửa sổ tương tác.

>>>

>>> title_index = html.find[""]
>>> title_index
14

Bây giờ chia nhỏ ví dụ trên

1. Bạn tạo một phiên bản

   >>> page = urlopen[url]
   

   89 và sử dụng nó để yêu cầu URL

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   117. Bạn gán nội dung HTML của trang cho biến

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   118 bằng cách sử dụng thuộc tính

   >>> page = urlopen[url]
   

   99

2. >>> title_index = html.find[""]
   >>> title_index
   14
   

   120 trả về danh sách tất cả các phần tử

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   102 trên trang. Vì trang chỉ có một phần tử

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   102 nên bạn có thể truy cập biểu mẫu bằng cách truy xuất phần tử tại chỉ mục

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   123 của danh sách. Khi chỉ có một biểu mẫu trên một trang, bạn cũng có thể sử dụng

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   124. Hai dòng tiếp theo chọn đầu vào tên người dùng và mật khẩu và đặt giá trị của chúng lần lượt là

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   125 và

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   126

3. Bạn gửi biểu mẫu với

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   127. Lưu ý rằng bạn truyền hai đối số cho phương thức này, đối tượng

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   128 và URL của

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   129 mà bạn truy cập thông qua

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   130

Trong cửa sổ tương tác, bạn xác nhận rằng nội dung gửi đã được chuyển hướng thành công đến trang

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Ghi chú. Tin tặc có thể sử dụng các chương trình tự động như chương trình ở trên để bắt buộc đăng nhập bằng cách nhanh chóng thử nhiều tên người dùng và mật khẩu khác nhau cho đến khi chúng tìm thấy sự kết hợp hoạt động

Bên cạnh việc điều này rất bất hợp pháp, hầu hết tất cả các trang web ngày nay đều khóa bạn và báo cáo địa chỉ IP của bạn nếu họ thấy bạn thực hiện quá nhiều yêu cầu không thành công, vì vậy đừng thử

Bây giờ bạn đã có bộ biến

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

Để làm điều này, bạn sử dụng lại

>>> title_index = html.find[""]
>>> title_index
14

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> title_index = html.find[""]
>>> title_index
14

>>>

>>> title_index = html.find[""]
>>> title_index
14

Bây giờ bạn có thể lặp qua từng liên kết và in thuộc tính

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Các URL có trong mỗi thuộc tính

>>> page = urlopen[url]

Trong trường hợp này, URL cơ sở chỉ là

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

>>>

>>> title_index = html.find[""]
>>> title_index
14

Bạn có thể làm được rất nhiều việc chỉ với

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Kiểm tra việc hiểu của bạn

Mở rộng khối bên dưới để kiểm tra sự hiểu biết của bạn

Tập thể dục. Gửi biểu mẫu bằng MechanicalSoupHiển thị/Ẩn

Sử dụng MechanicalSoup để cung cấp đúng tên người dùng [

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Sau khi biểu mẫu được gửi, hãy hiển thị tiêu đề của trang hiện tại để xác định rằng bạn đã được chuyển hướng đến trang

>>> page = urlopen[url]

Chương trình của bạn sẽ in văn bản

>>> title_index = html.find[""]
>>> title_index
14

Bạn có thể mở rộng khối bên dưới để xem giải pháp

Giải pháp. Gửi biểu mẫu bằng MechanicalSoupHiển thị/Ẩn

Đầu tiên, nhập gói

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Trỏ trình duyệt đến trang đăng nhập bằng cách chuyển URL tới

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Bây giờ biểu mẫu đã được điền đầy đủ, bạn có thể gửi kèm theo

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Nếu bạn điền đúng tên người dùng và mật khẩu vào biểu mẫu, thì

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Bạn sẽ thấy văn bản sau được hiển thị

>>> title_index = html.find[""]
>>> title_index
14

Nếu thay vào đó, bạn thấy văn bản

>>> title_index = html.find[""]
>>> title_index
14

Khi bạn đã sẵn sàng, bạn có thể chuyển sang phần tiếp theo