Yêu cầu-html kết xuất không hoạt động

Năm ngoái, tôi bắt đầu làm việc tự do với tư cách là Người quét web bằng cách sử dụng các mô-đun yêu cầu và beautifulsoup. Sau một vài dự án, tôi gặp phải một vấn đề lạ khi quét một trang web

trang web đó đang sử dụng một số mã Javascript. Tôi không thể giải quyết vấn đề kết xuất javascript với mô-đun yêu cầu Python

Điều này khiến tôi băn khoăn và tôi bắt đầu nghiên cứu xem có thư viện python nào có thể giúp tôi giải quyết Vấn đề kết xuất Javascript không. Và hóa ra chúng tôi có thư viện request-html cho vấn đề kết xuất Javascript

Trong bài viết này, tôi sẽ giải thích cho bạn những cách dễ dàng nhất để quét web, sử dụng thư viện python requests-html. [cảnh báo-thành công]

Rút trích nội dung trang web

Web Scraping đang trích xuất thông tin cần thiết từ một trang web. Đối với tôi, đó là một nguồn thu nhập tốt khi tôi bắt đầu làm việc tự do với Python

Nếu bạn biết những kiến ​​thức cơ bản về Python, thì Học cách quét web sẽ không kém phần thú vị đối với bạn. bạn có thể làm nhiều điều thú vị với việc thu thập các trang web bằng Python

Lập trình Python là một lựa chọn tốt nếu bạn từng nghĩ đến việc quét web. Python cung cấp các thư viện khác nhau để cạo các trang web. request-html là một ví dụ điển hình về thư viện Python để quét web

request-html là gì?

request-html là một thư viện python để quét các trang web. nó có thể giúp bạn loại bỏ bất kỳ loại trang web nào kể cả các trang web động. yêu cầu-html hỗ trợ kết xuất javascript và đây là lý do nó khác với các thư viện python khác được sử dụng để quét web

Mô-đun yêu cầu-html của Python là thư viện tốt nhất để quét web. Khi bạn đã học được các yêu cầu-html, các trang web Cạo sẽ là một miếng bánh dành cho bạn. Bạn sẽ hiểu ở phần cuối của hướng dẫn request-html này

kết xuất JavaScript

Khi nhà phát triển sử dụng Javascript để thao tác với các Phần tử Mô hình Đối tượng Tài liệu [DOM], nó được gọi là kết xuất Javascript. Nói một cách đơn giản, kết xuất Javascript có nghĩa là sử dụng Javascript để hiển thị đầu ra trong trình duyệt

Ví dụ về kết xuất Javascript

    Document


    
   
   
        var h1_tag = document.createElement["h1"];
        h1_tag.innerHTML = "H1 Generated with Javascirpt";
        body_tag = document.getElementsByTagName['body'][0];
        body_tag.appendChild[h1_tag];
    

 

Tại sao bạn nên sử dụng request-html?

request-Html giải quyết vấn đề kết xuất Javascript, đây là lý do bạn nên sử dụng thư viện request-html trong python. Có các yêu cầu, beautifulsoup và scrappy được sử dụng để quét web, nhưng request-html là cách dễ nhất để quét một trang web trong số tất cả chúng

Các tính năng của thư viện yêu cầu-html Python

1. Hỗ trợ không đồng bộ
2. hỗ trợ JavaScript
3. kiên trì cookie
4. khả năng phân tích cú pháp
5. Hỗ trợ nhiều bộ chọn

bạn có thể sử dụng thư viện python request-html để phân tích các tệp HTML mà không cần yêu cầu. Kết xuất Javascript cũng được hỗ trợ cho các tệp cục bộ.

Làm cách nào để sử dụng thư viện request-html?

Khi bạn đang loại bỏ các trang web bằng thư viện python requests-html, bạn nên làm theo các bước sau để trích xuất dữ liệu

Bước 1. Tìm phần tử mục tiêu trên trang web

Bước 2. Kiểm tra phần tử đích mà bạn muốn trích xuất

Bước 3. sử dụng bộ chọn thích hợp [ID, Tên lớp, XPath]

Bước 4. Lấy phần tử Target bằng thư viện request-html

Cài đặt thư viện request-html trong Python

Trước khi làm bất cứ điều gì khác, trước hết, chúng ta cần cài đặt thư viện request-html. request-html không phải là mô-đun tích hợp sẵn nhưng có thể dễ dàng cài đặt. Tùy thuộc vào hệ thống của bạn, bạn nên làm theo các cách tiếp cận khác nhau để cài đặt request-html

Cài đặt request-html bằng pip

pip có lẽ là cách dễ nhất để cài đặt gói python. bạn có thể sử dụng pip để cài đặt thư viện request-html

sao chép mã và chạy nó trên thiết bị đầu cuối để Cài đặt phiên bản mới nhất của thư viện request-html

 python -m pip install requests-html
      

sao chép mã và chạy nó trên thiết bị đầu cuối để cài đặt một phiên bản cụ thể của request-html

 python -m pip install requests-html==0.10.0
      

Nếu bạn muốn nâng cấp thư viện request-html đã cài đặt thì hãy chạy lệnh sau trên terminal

 python -m pip install --upgrade requests-html
     

Cài đặt request-html bằng conda

Để cài đặt phiên bản mới nhất của request-html bằng cách sử dụng conda, hãy nhập lệnh sau và chạy nó

 conda install requests-html
       

Cài đặt request-html trong jupyter

Jupyter là một IDE tốt để làm việc với các dự án liên quan đến Web-scraping. Trong Jupyter, bạn có thể cài đặt request-html bằng cách sử dụng pip install requests-html

 pip install requests-html
  	   

Cài đặt request-html trong Linux

Nếu bạn đang sử dụng hệ điều hành Linux. Đầu tiên, cài đặt pip và sau đó sử dụng pip, bạn có thể cài đặt thư viện request-html

 pip install requests-html
  	   

Kiểm tra các yếu tố trên Trang Weg

Khi loại bỏ phần tử được nhắm mục tiêu khỏi trang web, bước đầu tiên là tìm phần tử cụ thể đó trên trang web. Quá trình này được gọi là kiểm tra các yếu tố. Đó là một quá trình gồm ba bước

Thực hiện theo các bước sau để kiểm tra một phần tử trên trang web

1. Truy cập trang web cụ thể bằng URL
2. nhấp chuột phải vào phần tử Mục tiêu mà bạn muốn Trích xuất
3. Nhấp vào kiểm tra và nó sẽ mở cửa sổ kiểm tra

Ví dụ về Kiểm tra các yếu tố trên trang web

Giả sử chúng ta muốn cạo trang web này [https. //www. người trợ giúp. com/chó-giống-đẹp-nhất/]

Bước 1. Sao chép và dán URL vào thanh Tìm kiếm của trình duyệt của bạn

Bước 2. Nhấp vào phần tử mục tiêu

Giả sử bạn muốn lấy phần đầu tiên. Chỉ cần nhấp chuột phải vào nó

Bước 3. nhấp vào tùy chọn cuối cùng kiểm tra trong menu tùy chọn hiển thị trong hình trên

Sau khi nhấp vào kiểm tra, Bạn sẽ mở cửa sổ kiểm tra bên trong tab. bây giờ bạn có thể lấy mã HTML của phần tử

Đây là cách chúng tôi kiểm tra các yếu tố mục tiêu. Để hiểu rõ hơn, hãy sử dụng [https. // webscraper. io/] trang web cho mục đích thử nghiệm. [cảnh báo-thành công]

Sử dụng các loại bộ chọn khác nhau trong request-html

thư viện request-html hỗ trợ tất cả các loại bộ chọn. Chúng ta có thể chọn một phần tử bằng tagName, id, class hoặc XPath. Trong phần này, tôi sẽ hướng dẫn bạn cách sử dụng các bộ chọn CSS khác nhau để lấy một phần tử

Chọn phần tử sử dụng id trong request-html

Cách tốt nhất để chọn một phần tử là sử dụng id của phần tử đó. Sử dụng ID là tùy chọn tốt nhất vì chúng tôi chỉ có một id trên trang web. Id là một bộ chọn duy nhất

để chọn một phần tử sử dụng id trong request-html, hãy sử dụng r. phương thức tìm ['# id']

Ví dụ số 1. Chọn một thành phần của trang web bằng cách sử dụng Id

Đối với mục đích thử nghiệm, hãy sử dụng https. // webscraper. trang web io

Chúng tôi sẽ lấy thanh điều hướng có id 'navbar' từ trang web này bằng cách sử dụng id của phần tử

# importing the HTMLSession class
from requests_html import HTMLSession
# create the object of the session
session = HTMLSession[]
# url of the page
web_page = '//webscraper.io/'
# making get request to the webpage
respone = session.get[web_page]
# getting the html of the page
page_html = respone.html
# finding element with id 'navbar'
navbar= page_html.find['#navbar']
# printing element
print[navbar]

Chọn phần tử bằng tên lớp trong request-html

Cũng giống như id, chúng ta có thể tìm thấy một phần tử bằng cách sử dụng tên lớp. Một lớp có thể được gán cho nhiều hơn một phần tử và đây là lý do việc tìm một phần tử theo tên lớp sẽ trả về một danh sách các phần tử. Bạn có thể sử dụng r. tìm thấy['. className'] để tìm một phần tử theo tên lớp trong request-html

Ví dụ số 2. Chọn một phần tử bằng cách sử dụng tên lớp trong request-html

Trong ví dụ này, chúng tôi sẽ lấy video trên trang chủ của [https. // webscraper. trang web io/]. Khi kiểm tra video, tên lớp của video là "giới thiệu video-trình bao bọc". Vì vậy, tôi sẽ sử dụng tên lớp này để tìm URL video

# importing the HTMLSession class
from requests_html import HTMLSession
# create the object of the session
session = HTMLSession[]
# url of the page
web_page = '//webscraper.io/'
# making get request to the webpage
respone = session.get[web_page]
# getting the html of the page
page_html = respone.html
# finding element with class name 'embedded-video'
video_frame= page_html.find['.embedded-video']
# get all atributes
video_attrs = video_frame[0].attrs
# find the url using dict.get[]
video_url = video_attrs['src']
# printing element
print[video_url]

Đầu ra của mã là URL của video youtube.

Chọn các phần tử sử dụng tên thẻ trong request-html

Để tìm phần tử bằng cách sử dụng tên thẻ của phần tử bằng cách sử dụng request-html, hãy sử dụng r. chức năng tìm ['tagName']. Nó sẽ trả về danh sách tất cả các thẻ cụ thể

Đây là trường hợp chung nhất, khi bạn muốn tìm tất cả các thẻ tương tự, giả sử bạn muốn lấy tất cả các hàng của một bảng. Hoặc có thể liệt kê các mục của một danh sách

Ví dụ số 3. Chọn một thẻ cụ thể với request-html

Trong ví dụ này, chúng tôi muốn loại bỏ tất cả các thẻ đoạn từ [https. // webscraper. trang web io/]

    
# importing the HTMLSession class
from requests_html import HTMLSession
# create the object of the session
session = HTMLSession[]
# url of the page
web_page = '//webscraper.io/'
# making get request to the webpage
respone = session.get[web_page]
# getting the html of the page
page_html = respone.html
# finding all the paragraphs
all_paragraphs= page_html.find['p']
# printing list of paragraphs
print[all_paragraphs]

Đầu ra của mã là danh sách tất cả các thành phần đoạn văn

Chọn phần tử bằng thuộc tính CSS trong request-html

Ngoài id và tên lớp, chúng ta có thể sử dụng các thuộc tính CSS khác để lấy các phần tử từ trang web. Để cạo một phần tử bằng các thuộc tính CSS, hãy sử dụng hàm find['[CSS_Attribute="value"]']. Nó sẽ lấy các yếu tố được chỉ định từ trang web

với các yêu cầu và món súp đẹp mắt, bạn có thể đạt được kết quả tương tự nhưng bạn sẽ phải thực hiện thêm một bước. Đây là vẻ đẹp của thư viện request-html

Ví dụ số 4. Chọn các thành phần HTML bằng các thuộc tính CSS trong thư viện request-html

Trong ví dụ này, chúng tôi sẽ sử dụng cùng một trang web để lấy tiêu đề. Tiêu đề có thuộc tính 'vai trò' và giá trị của nó là 'biểu ngữ'. Vì vậy, chúng tôi sẽ sử dụng request-html để tìm tiêu đề bằng cách sử dụng 'vai trò' làm bộ chọn CSS

 python -m pip install requests-html
      

Đầu ra của mã là danh sách các thành phần có thuộc tính 'role=banner'.

Chọn phần tử bằng cách sử dụng văn bản trong request-html

Chà, sức mạnh của request-html thậm chí còn tăng lên nhiều hơn với tính năng tuyệt vời này là tìm phần tử bằng cách sử dụng văn bản bên trong phần tử. Để tìm một phần tử dựa trên văn bản nhất định, bạn có thể sử dụng r. chức năng tìm ['bộ chọn', chứa = 'văn bản']. điều này sẽ trả về một danh sách tất cả các thành phần có chứa văn bản cụ thể đó

Ví dụ số 5. Tìm một phần tử trên một trang dựa trên văn bản trong request-html

Trong ví dụ mã Python này, chúng tôi sẽ tìm thấy tất cả các đoạn có chứa văn bản 'khai thác dữ liệu web' trong đó

 python -m pip install requests-html
      

Đầu ra của mã là danh sách các thẻ đoạn chứa thẻ 'khai thác dữ liệu web' trong đó.

Output: []

Chọn phần tử bằng xpath trong request-html

Khi bạn muốn lấy phần tử HTML một cách dễ dàng nhất nhưng lại không có id của phần tử đó. đừng lo lắng, chúng tôi có tùy chọn XPath trong request-html giúp dễ dàng tìm thấy một phần tử trong trang web

XPath có thể dùng để điều hướng qua các thành phần và thuộc tính trong tài liệu HTML. Nếu bạn chưa biết cách tạo XPATH cho một phần tử. Hãy đọc bài viết này của Microsoft về XPATH

Ví dụ số 6. Tìm một phần tử với XPath trong thư viện request-html

Trong ví dụ này, chúng tôi đã sử dụng XPath của phần tử để lấy phần tử đã chỉ định với request-html

 python -m pip install requests-html
      

Đầu ra của mã này là danh sách các phần tử 'div' có con 'h2'.

Nhận văn bản từ phần tử HTML trong request-html

Hầu hết thời gian mục tiêu của chúng tôi trên trang web là trích xuất văn bản từ các thẻ HTML khác nhau. Vì vậy, tôi dành riêng phần này để giải thích cho bạn cách trích xuất văn bản từ các phần tử Html khác nhau

Để lấy văn bản của bất kỳ phần tử HTML nào trong python, hãy sử dụng các bước sau

• Bước 1. Cài đặt thư viện request-html
• Bước 2. tạo phiên HTML
• Bước 3. tạo yêu cầu nhận bằng cách sử dụng request-html
• Bước 4. lấy tất cả HTML từ phản hồi
• Bước 5. sử dụng hàm find[] để tìm phần tử
• Bước 6. lấy văn bản từ tất cả các phần tử bằng thuộc tính văn bản của phần tử

trích xuất văn bản của thẻ h2 trong request-html

Trang web là https. //www. đầu tư. com/điều khoản/s/mẫu. asp

The Target is to extract text from all

Tags

Mã để trích xuất văn bản từ tất cả các thẻ h2 như sau

 python -m pip install requests-html
      

3

Đầu ra của đoạn mã trên là văn bản của tất cả các thẻ h2

Cạo văn bản của Đoạn văn bằng request-html

Trong ví dụ này, chúng ta sẽ sử dụng thư viện request-html của Python để trích xuất văn bản của một đoạn văn

Trang web để lấy dữ liệu từ đó là [https. //totalhealthmagazine. com/Giới thiệu-Chúng tôi]

Mục tiêu của chúng tôi là lấy văn bản thuần túy từ các đoạn văn bằng thư viện request-html trong Python

Mã Python để cạo văn bản từ tất cả các đoạn bằng thư viện request-html như sau

 python -m pip install requests-html
      

Đầu ra của mã Python ở trên là văn bản của tất cả các đoạn có trên trang đó

tìm các thẻ meta của một trang web bằng cách sử dụng request-html

Thẻ meta là thẻ chứa thông tin về trang web. Thẻ meta không được sử dụng để hiển thị các thành phần trên trang web. Chúng rất quan trọng đối với trang web

Chúng tôi có thể sử dụng thư viện request-html để tìm tất cả các thẻ meta của trang web

sau đây là mã thư viện request-html Python tìm thẻ meta của trang web

 python -m pip install requests-html
      

Đầu ra của mã python ở trên là danh sách tất cả các thẻ meta của trang web

Cạo tất cả các liên kết từ một trang web bằng Python với request-html

To scrape all the anchor tags or tag from the website requests HTML gives us the simplest and best way.

sử dụng hàm

 python -m pip install requests-html==0.10.0
      

 python -m pip install requests-html==0.10.0
      

 python -m pip install requests-html
      

 python -m pip install requests-html
      

 python -m pip install requests-html
      

 python -m pip install requests-html
      

 python -m pip install requests-html==0.10.0
      

 python -m pip install requests-html==0.10.0
      

 python -m pip install requests-html==0.10.0
      

 python -m pip install requests-html==0.10.0
      

 python -m pip install requests-html==0.10.0