Hướng dẫn how to scrape javascript content python selenium - làm thế nào để loại bỏ nội dung javascript trong python selen

Question

Nội dung chính Show

Tự mình hiển thị các trang web của JavaScript
Selenium là gì?
Cài đặt selen
Điều hướng, chờ đợi và truy xuất
Phân tích dữ liệu động
Chức năng Selenium nâng cao
Giải pháp thay thế của Folrmfly
Câu hỏi thường gặp
Tóm tắt và đọc thêm
Selenium có thể cạo javascript không?
Làm cách nào để xóa dữ liệu từ trang web JavaScript?
Làm thế nào để bạn cạo một trang web bằng python selenium?
JavaScript có tốt hơn để cạo không?

Tự mình hiển thị các trang web của JavaScript

Do sự phổ biến ngày càng tăng của các khung JavaScript hiện đại như React, Angular và Vue, ngày càng có nhiều trang web được xây dựng động với JavaScript. Điều này đặt ra một thách thức cho việc quét web vì đánh dấu HTML không có sẵn trong mã nguồn. Do đó, chúng tôi không thể xóa trực tiếp các trang web JavaScript này và cần hiển thị chúng dưới dạng đánh dấu HTML thông thường trước.

Web hiện đại đang ngày càng trở nên phức tạp và phụ thuộc vào JavaScript, điều này khiến cho việc cạo web truyền thống trở nên khó khăn. Các bộ phế liệu web truyền thống trong Python không thể thực hiện JavaScript, có nghĩa là chúng đấu tranh với các trang web năng động và đây là nơi Selenium - bộ công cụ tự động hóa trình duyệt - có ích!

Tự động hóa trình duyệt thường được sử dụng trong việc phá vỡ web để sử dụng nguồn kết xuất trình duyệt để truy cập nội dung động. Ngoài ra, nó thường được sử dụng để tránh chặn máy quét web vì các trình duyệt thực có xu hướng hòa nhập với đám đông dễ dàng hơn các yêu cầu HTTP RAW.

Chúng tôi đã bao gồm ngắn gọn 3 công cụ có sẵn nhà viết kịch, Puppeteer và Selenium trong bài viết tổng quan của chúng tôi, các trang web năng động sử dụng trình duyệt và trong công cụ này, chúng tôi sẽ tìm hiểu sâu hơn một chút để hiểu Selenium - bộ công cụ tự động hóa trình duyệt phổ biến nhất hiện có.

Trong selen này với hướng dẫn Python, chúng ta sẽ xem Selenium là gì; Các chức năng phổ biến của nó được sử dụng trong các trang động và ứng dụng web của Web Scraping. Chúng tôi sẽ bao gồm một số mẹo và thủ thuật chung và những thách thức chung và kết thúc tất cả với một dự án ví dụ bằng cách cạo Twitch.tvwhat Selenium is; its common functions used in web scraping dynamic pages and web applications. We'll cover some general tips and tricks and common challenges and wrap it all up with an example project by scraping twitch.tv

Web cào với hướng dẫn Python

Để giới thiệu chung về việc quét web trong Python, hãy xem hướng dẫn giới thiệu rộng rãi của chúng tôi, tập trung vào việc sử dụng máy khách HTTP thay vì trình duyệt web.

Selenium là gì?

Selenium ban đầu là một công cụ được tạo ra để kiểm tra hành vi của trang web, nhưng nó nhanh chóng trở thành một công cụ tự động hóa trình duyệt web chung được sử dụng trong các tác vụ tự động hóa và tự động hóa khác.

Công cụ này khá phổ biến và có khả năng tự động hóa các trình duyệt khác nhau như Chrome, Firefox, Opera và thậm chí cả Internet Explorer thông qua phần mềm trung gian được kiểm soát có tên Selenium WebDriver.

WebDriver là giao thức tự động hóa trình duyệt đầu tiên được thiết kế bởi tổ chức W3C và về cơ bản đây là dịch vụ giao thức phần mềm trung gian nằm giữa máy khách và trình duyệt, dịch các lệnh của máy khách sang các hành động của trình duyệt web.

Selenium WebDriver dịch các lệnh của khách hàng Python của chúng tôi sang một cái gì đó mà trình duyệt web có thể hiểu

Hiện tại, đây là một trong hai giao thức có sẵn cho tự động hóa trình duyệt web (còn lại là %url https://chromedevtools.github.io/devtools-protocol/ "Giao thức Chrome Devtools" Hoàn toàn khả thi để quét web - Hãy xem những gì nó có thể làm!

Cài đặt selen

Có thể cài đặt Selenium WebDriver cho Python thông qua lệnh

$ pip install selenium
$ pip show selenium
Version: 3.141.0

4:

$ pip install selenium

Tuy nhiên, chúng tôi cũng cần các trình duyệt hỗ trợ WebDriver. Chúng tôi đề xuất các trình duyệt Firefox và Chrome:

Cromedriver cho Chrome
Geckodriver cho Firefox

Điều hướng, chờ đợi và truy xuất

Khi nói đến việc quét web, về cơ bản chúng ta cần một vài chức năng cơ bản của API Selenium: Điều hướng đến các trang web, chờ các yếu tố tải và nhấp vào nút/cuộn trang. Đôi khi, chúng ta có thể cần các chức năng nâng cao hơn, chẳng hạn như đầu vào văn bản hoặc nhấn bàn phím. Cả hai chức năng cơ bản và nâng cao này đều có thể dễ dàng truy cập trong selenium, chúng ta hãy xem!

0:44

/0:440:44

Sneak nhanh chóng xem xét những gì chúng ta sẽ làm. Khi phát triển với selenium, chúng ta có thể sử dụng vỏ tương tác như ipython để kiểm tra quy trình làm việc của chúng tôi trong thời gian thực!

Hãy bắt đầu với những điều cơ bản của chúng tôi: điều hướng và điều kiện cho việc này, chúng tôi sẽ bắt đầu với dự án ví dụ của chúng tôi: Chúng tôi sẽ thực hiện các luồng hiện tại từ https://www.twitch.tv/ Phần nghệ thuật nơi người dùng phát trực tuyến quy trình tạo nghệ thuật của họ. Đối với điều này, chúng tôi sẽ thu thập dữ liệu động như tên luồng, số lượng người xem và tác giả.navigation and conditions
For this, we'll start with our example project: we'll be scraping current streams from https://www.twitch.tv/ art section where users stream their art creation process. For this, we'll be collecting dynamic data like stream name, viewer count and author.

Nhiệm vụ hiện tại của chúng tôi là:

Bắt đầu trình duyệt web Chrome
Truy cập https://www.twitch.tv/directory/game/art
Đợi trang hoàn thành tải
Nhận nội dung HTML của phiên bản trình duyệt hiện tại
Phân tích dữ liệu từ nội dung HTML

Trước khi chúng ta bắt đầu, hãy tự cài đặt Selenium:

$ pip install selenium
$ pip show selenium
Version: 3.141.0

Để bắt đầu với mã cạo của chúng tôi, hãy tạo một đối tượng Selenium WebDriver và khởi chạy trình duyệt Chrome:

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

Nếu chúng tôi chạy tập lệnh này, chúng tôi sẽ thấy một cửa sổ trình duyệt mở ra và đưa cho chúng tôi URL co giật của chúng tôi. Tuy nhiên, thường khi bị xào web, chúng tôi không muốn có màn hình của mình với tất cả các yếu tố GUI, vì điều này, chúng tôi có thể sử dụng một thứ gọi là chế độ không đầu, loại bỏ trình duyệt của tất cả các yếu tố GUI và cho phép nó chạy âm thầm trong nền . Trong Selenium, chúng tôi có thể kích hoạt nó thông qua đối số từ khóa

$ pip install selenium
$ pip show selenium
Version: 3.141.0

5:headless mode which strips the browser of all GUI elements and lets it run silently in the background. In Selenium, we can enable it through the

$ pip install selenium
$ pip show selenium
Version: 3.141.0

5 keyword argument:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
...

# configure webdriver
options = Options()
options.headless = True  # hide GUI
options.add_argument("--window-size=1920,1080")  # set window size to native GUI size
options.add_argument("start-maximized")  # ensure window is full-screen

...
driver = webdriver.Chrome(options=options)
#                         ^^^^^^^^^^^^^^^
driver.get("https://www.twitch.tv/directory/game/Art")

Ngoài ra, khi xẹp web, chúng ta không cần hiển thị hình ảnh, đó là một quá trình chậm và chuyên sâu. Trong Selenium, chúng tôi có thể hướng dẫn trình duyệt Chrome bỏ qua kết xuất hình ảnh thông qua đối số từ khóa

$ pip install selenium
$ pip show selenium
Version: 3.141.0

6:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait

# configure webdriver
options = Options()
options.headless = True  # hide GUI
options.add_argument("--window-size=1920,1080")  # set window size to native GUI size
options.add_argument("start-maximized")  # ensure window is full-screen

...
# configure chrome browser to not load images and javascript
chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option(
    # this will disable image loading
    "prefs", {"profile.managed_default_content_settings.images": 2}
)
...

driver = webdriver.Chrome(options=options, chrome_options=chrome_options)
#                                          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
driver.get("https://www.twitch.tv/directory/game/Art")
driver.quit()

Nếu chúng tôi đặt ra

$ pip install selenium
$ pip show selenium
Version: 3.141.0

7 cài đặt trở lại

$ pip install selenium
$ pip show selenium
Version: 3.141.0

8, chúng tôi sẽ thấy rằng tất cả các trang tải mà không có bất kỳ hình ảnh phương tiện nào. Họ vẫn ở đó, nhưng chúng không được tải xuống và nhúng vào chế độ xem của chúng tôi - tiết kiệm cho chúng tôi vô số tài nguyên và thời gian!

Cuối cùng, chúng tôi có thể truy xuất một trang được hiển thị đầy đủ và bắt đầu phân tích dữ liệu. Trình điều khiển của chúng tôi có thể cung cấp cho chúng tôi nội dung của cửa sổ trình duyệt hiện tại (được gọi là nguồn trang) thông qua thuộc tính

$ pip install selenium
$ pip show selenium
Version: 3.141.0

9 nhưng nếu chúng tôi gọi nó là quá sớm, chúng tôi sẽ nhận được một trang gần như trống vì chưa có gì được tải!

May mắn thay, Selenium có nhiều cách kiểm tra xem trang có được tải tuy nhiên hay không, trang web đáng tin cậy nhất là kiểm tra xem một phần tử có mặt trong trang thông qua các bộ chọn CSS hay không:

from parsel import Selector
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# configure webdriver
options = Options()
options.headless = True  # hide GUI
options.add_argument("--window-size=1920,1080")  # set window size to native GUI size
options.add_argument("start-maximized")  # ensure window is full-screen
# configure chrome browser to not load images and javascript
chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option(
    "prefs", {"profile.managed_default_content_settings.images": 2}
)

driver = webdriver.Chrome(options=options, chrome_options=chrome_options)
driver.get("https://www.twitch.tv/directory/game/Art")
# wait for page to load
element = WebDriverWait(driver=driver, timeout=5).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, 'div[data-target=directory-first-item]'))
)
print(driver.page_source)

Ở đây, chúng tôi đang sử dụng một đối tượng

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

0 đặc biệt chặn chương trình của chúng tôi cho đến khi một điều kiện cụ thể được đáp ứng. Trong trường hợp này, điều kiện của chúng tôi là sự hiện diện của một yếu tố mà chúng tôi chọn thông qua bộ chọn CSS.

Phân tích dữ liệu động

Chúng tôi đã bắt đầu một trình duyệt, bảo nó đi đến Twitch.tv và đợi trang tải và truy xuất nội dung trang. Với những nội dung này trong tay, chúng tôi có thể hoàn thành dự án và phân tích dữ liệu động liên quan đến phân tích:

from parsel import Selector

sel = Selector(text=driver.page_source)
parsed = []
for item in sel.xpath("//div[contains(@class,'tw-tower')]/div[@data-target]"):
    parsed.append({
        'title': item.css('h3::text').get(),
        'url': item.css('.tw-link::attr(href)').get(),
        'username': item.css('.tw-link::text').get(),
        'tags': item.css('.tw-tag ::text').getall(),
        'viewers': ''.join(item.css('.tw-media-card-stat::text').re(r'(\d+)')),
    })

Mặc dù Selenium cung cấp các khả năng phân tích cú pháp của riêng mình, nhưng chúng phụ thuộc vào những gì có sẵn trong hệ sinh thái của Python. Nó hiệu quả hơn nhiều khi chọn nguồn HTML của trang được kết xuất và sử dụng các gói Parsel hoặc BeautifulSoup để phân tích nội dung này theo kiểu hiệu quả và pythonic hơn. Trong ví dụ này, chúng tôi đã sử dụng Parsel để trích xuất nội dung bằng các bộ chọn XPath và CSS.

Web cào bằng Python và BeautifulSoup

Để phân tích cú pháp với BeautifulSoup, hãy xem bài viết chuyên sâu của chúng tôi bao gồm giới thiệu, mẹo và thủ thuật và thực tiễn tốt nhất

Trong phần này, chúng tôi đã đề cập đến máy quét web dựa trên selen cơ bản đầu tiên. Chúng tôi đã ra mắt một trường hợp tối ưu hóa của trình duyệt, nói với nó sẽ đến trang web của chúng tôi, đợi nội dung để tải và trả lại cho chúng tôi một tài liệu được hiển thị!

Các chức năng cơ bản này sẽ giúp bạn có khá nhiều trong việc xua tan web, tuy nhiên một số trường hợp cạnh có thể yêu cầu chức năng tự động hóa nâng cao hơn như nhấp vào nút phần tử, đầu vào của văn bản và thực thi JavaScript tùy chỉnh - hãy xem những điều này.

Chức năng Selenium nâng cao

Selenium là một thư viện tự động hóa khá mạnh mẽ có khả năng nhiều hơn những gì chúng tôi đã phát hiện ra thông qua ví dụ Twitch.TV của chúng tôi.

Đối với người mới bắt đầu, đôi khi chúng ta có thể cần nhấp vào các nút và nhập văn bản vào các biểu mẫu để truy cập nội dung mà chúng ta muốn quét web. Đối với điều này, chúng ta hãy xem làm thế nào chúng ta có thể sử dụng thanh tìm kiếm Twitch.tv. Chúng tôi sẽ tìm các phần tử HTML cho hộp tìm kiếm và nút tìm kiếm và gửi đầu vào của chúng tôi ở đó:click buttons and input text into forms to access content we want to web scrape. For this, let's take a look at how can we use Twitch.tv search bar. We'll find HTML elements for the search box and search button and send our inputs there:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/")
search_box = driver.find_element_by_css_selector('input[aria-label="Search Input"]') 
search_box.send_keys(
    'fast painting'
)
# either press the enter key
search_box.send_keys(Keys.ENTER)
# or click search button
search_button = driver.find_element_by_css_selector('button[icon="NavSearch"]')
search_button.click()

Trong ví dụ trên, chúng tôi đã sử dụng bộ chọn CSS để tìm hộp tìm kiếm của chúng tôi và nhập một số khóa. Sau đó, để gửi tìm kiếm của chúng tôi, chúng tôi có một tùy chọn để gửi khóa nhập theo nghĩa đen hoặc tìm nút tìm kiếm và nhấp vào nó để gửi biểu mẫu tìm kiếm của chúng tôi.

Cuối cùng, tính năng quan trọng cuối cùng được sử dụng trong việc xào web là thực thi JavaScript. Selenium về cơ bản cung cấp cho chúng tôi một trình thông dịch JavaScript đầy đủ, chạy cho phép chúng tôi kiểm soát hoàn toàn tài liệu trang và một đoạn lớn của chính trình duyệt!javascript execution. Selenium essentially provides us with a full, running Javascript Interpreter which allows us to fully control the page document and a big chunk of the browser itself!

Để minh họa điều này, chúng ta hãy xem cuộn. Vì Twitch đang sử dụng cái gọi là "phân trang vô tận" để nhận kết quả từ trang thứ 2, chúng tôi phải hướng dẫn trình duyệt của mình cuộn xuống phía dưới để kích hoạt tải trang tiếp theo:
Since Twitch is using so-called "endless pagination" to get results from the 2nd page, we must instruct our browser to scroll to the bottom to trigger the loading of the next page:

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")
# find last item and scroll to it
driver.execute_script("""
let items=document.querySelectorAll('.tw-tower>div');
items[items.length-1].scrollIntoView();
""")

Trong ví dụ này, chúng tôi đã sử dụng thực thi JavaScript để tìm tất cả các phần tử web trong trang đại diện cho video và sau đó cuộn chế độ xem đến phần tử cuối cùng, cho trang để tạo trang thứ hai của kết quả. Có nhiều cách để cuộn nội dung trong trình duyệt web được điều khiển bằng Selenium, nhưng sử dụng phương thức `Scrollintoview

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

1 là một trong những cách đáng tin cậy nhất để điều hướng chế độ xem của trình duyệt.
There are many ways to scroll content in Selenium controlled web browser, but using the `scrollIntoView

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

1 method is one of the most reliable ways to navigate the browser's viewport.

Trong phần này, chúng tôi đã đề cập đến các chức năng selenium nâng cao chính được sử dụng trong quét web: đầu vào bàn phím, nhấp nút và thực thi JavaScript. Với kiến thức đầy đủ này, chúng tôi đã sẵn sàng để loại bỏ các trang web được cung cấp bởi JavaScript phức tạp như Twitch.TV!

Điều đó đang được nói, Selenium không phải là không có lỗi của nó và vấn đề lớn nhất khi phát triển các bộ xử lý web bằng gói selenium đang mở rộng. Trình duyệt rất nặng và chậm, để thêm, Selenium không hỗ trợ lập trình không đồng bộ, điều này có thể tăng tốc mọi thứ như nhà viết kịch và Puppeteer (như chúng tôi đã đề cập trong việc cạo các trang web động bằng cách sử dụng tự động hóa trình duyệt) để chúng tôi cung cấp một selen có thể mở rộng Dịch vụ kết xuất JavaScript - Hãy xem nhanh!

Giải pháp thay thế của Folrmfly

API của Scrapfly thực hiện các chức năng tự động của trình duyệt web cốt lõi: Kết xuất trang, quản lý phiên/proxy, đánh giá JavaScript tùy chỉnh và quy tắc tải trang-tất cả đều giúp tạo ra một máy quét web có khả năng mở rộng và dễ quản lý cao.

Một tính năng quan trọng của API của Scrapfly là kết hợp trình duyệt và yêu cầu HTTP truyền thống - cho phép các nhà phát triển tối ưu hóa máy quét với tiềm năng cào đầy đủ của họ.

Chúng ta hãy nhanh chóng xem cách chúng ta có thể sao chép twitch.tv cạp trong SDK của Scrapfly:

from parsel import Selector
from scrapfly import ScrapeConfig, ScrapflyClient, ScrapeApiResponse


scrapfly = ScrapflyClient(key="YOUR KEY")
result = scrapfly.scrape(
    ScrapeConfig(
        url="https://www.twitch.tv/directory/game/Art",
        render_js=True,
        # ^ indicate to use browser rendering for this request.
        country="US"
        # ^ applies proxy to request to ensure we are getting results in english language.
        asp=True,
        # ^ bypass common anti web scraping protection services.
    ),
)

parsed = []
for item in result.selector.xpath("//div[contains(@class,'tw-tower')]/div[@data-target]"):
#                  ^ ScrapFly offers a shortcut to parsel's Selector object
    parsed.append({
        'title': item.css('h3::text').get(),
        'url': item.css('.tw-link::attr(href)').get(),
        'username': item.css('.tw-link::text').get(),
        'tags': item.css('.tw-tag ::text').getall(),
        'viewers': ''.join(item.css('.tw-media-card-stat::text').re(r'(\d+)')),
    })

print(json.dumps(parsed, indent=2))

API của Scrapfly đơn giản hóa toàn bộ quá trình thành một vài cấu hình tham số. Không chỉ vậy, mà nó tự động định cấu hình trình duyệt phụ trợ cho các cấu hình trình duyệt tốt nhất và xác định khi nào nội dung đã được tải đầy đủ cho mục tiêu cạo đã cho!

Để biết thêm về kết xuất trình duyệt của Scrapfly và hơn thế nữa, hãy xem tài liệu kết xuất JavaScript chính thức của chúng tôi.

Câu hỏi thường gặp

Chúng tôi đã học được rất nhiều trong bài viết này, hãy tiêu hóa một số trong danh sách câu hỏi thường gặp gọn gàng:

Lỗi: Geckodriver thực thi cần phải đi trên đường dẫn

Lỗi này thường có nghĩa là công cụ kết xuất của Geckodriver - Firefox - không được cài đặt trên máy. Bạn có thể xem trang phát hành chính thức để tải xuống các hướng dẫn tải xuống, chúng tôi có thể sử dụng bất kỳ phiên bản Firefox nào khác bằng cách thay đổi đối số

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

2 trong phần khởi đầu WebDriver, ví dụ:

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

3
Alternatively, we can use any other Firefox instance by changing

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

2 argument in the webdriver initiation, e.g:

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

3

Làm thế nào để vô hiệu hóa tải hình ảnh?

Để giảm sử dụng băng thông khi cạo bằng selen, chúng tôi có thể vô hiệu hóa tải hình ảnh thông qua tùy chọn ưu tiên:

$ pip install selenium
$ pip show selenium
Version: 3.141.0

0 Làm thế nào để chụp ảnh màn hình trong selen?

Để chụp ảnh màn hình, chúng ta có thể sử dụng các lệnh WebDriver:

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

4 và

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

5. Ảnh chụp màn hình rất hữu ích cho việc gỡ lỗi quy trình làm việc của trình duyệt không đầu.

Làm thế nào để nhập các phím bàn phím cụ thể trong selen?

Để gửi các phím bàn phím không ký tự, chúng tôi có thể sử dụng các hằng số được xác định trong hằng số

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

6. Ví dụ

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

7 sẽ gửi khóa Enter.

Làm thế nào để chọn giá trị thả xuống trong selen?

Để chọn các giá trị thả xuống, chúng tôi có thể tận dụng lợi thế sử dụng UI của Selenium. Đối tượng

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

8 cho phép chúng tôi chọn các giá trị và thực hiện các hành động khác nhau:

$ pip install selenium
$ pip show selenium
Version: 3.141.0

1 Làm thế nào để cuộn trình duyệt selenium đến một đối tượng cụ thể?

Cách tốt nhất để cuộn đáng tin cậy qua các trang động là sử dụng thực thi mã JavaScript. Ví dụ: để cuộn đến mục sản phẩm cuối cùng, chúng tôi sẽ sử dụng chức năng JavaScript

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.twitch.tv/directory/game/Art")

9:

$ pip install selenium
$ pip show selenium
Version: 3.141.0

2 Làm thế nào để nắm bắt các yêu cầu HTTP trong selen?

Khi trình duyệt web kết nối với một trang web, nó sẽ thực hiện nhiều yêu cầu HTTP từ chính tài liệu với các yêu cầu hình ảnh và dữ liệu. Đối với gói Python Selenium-Wire này có thể được sử dụng để mở rộng Selenium với khả năng thu thập yêu cầu/phản hồi:

$ pip install selenium
$ pip show selenium
Version: 3.141.0

3can selen được sử dụng với phế liệu?

Scrapy là một khung cạo web phổ biến trong Python tuy nhiên vì các kiến trúc khác nhau làm cho Scrapy và Selenium hoạt động cùng nhau là khó khăn. Kiểm tra những nỗ lực nguồn mở này là selenium và không có đầu.

Tóm tắt và đọc thêm

Trong Python ngắn này với hướng dẫn Selenium, chúng tôi đã xem xét cách chúng tôi có thể sử dụng gói tự động hóa trình duyệt web này để xẹp web. Chúng tôi đã xem xét hầu hết các chức năng phổ biến được sử dụng trong việc cạo, chẳng hạn như điều hướng, nhấp nút, đầu vào văn bản, chờ đợi nội dung và thực thi JavaScript tùy chỉnh. Chúng tôi cũng đã xem xét một số thành ngữ hiệu suất phổ biến, chẳng hạn như duyệt không đầu và vô hiệu hóa tải hình ảnh.
We reviewed most of the common functions used in scraping, such as navigation, button clicking, text input, waiting for content and custom javascript execution.
We also reviewed some common performance idioms, such as headless browsing and disabling of image loading.

Kiến thức này sẽ giúp bạn bắt đầu với Selenium Web Scraping. Hơn nữa, chúng tôi khuyên nên xem xét việc tránh phát hiện bot: Cách tránh chặn quét web: Hướng dẫn JavaScript.

Selenium có thể cạo javascript không?

Trình điều khiển trình duyệt Selenium thường được sử dụng để quét dữ liệu từ các trang web động sử dụng JavaScript (mặc dù nó cũng có thể quét dữ liệu từ các trang web tĩnh). Việc sử dụng JavaScript có thể thay đổi từ các sự kiện biểu mẫu đơn giản đến các ứng dụng một trang tải xuống tất cả nội dung của họ sau khi tải. (although it can scrape data from static websites too). The use of JavaScript can vary from simple form events to single page apps that download all their content after loading.

Làm cách nào để xóa dữ liệu từ trang web JavaScript?

Các bước cần thiết để quét web..

Tạo tệp pack.json ..

Cài đặt và gọi các thư viện cần thiết ..

Chọn trang web và dữ liệu cần thiết để cạo ..

Đặt URL và kiểm tra mã phản hồi ..

Kiểm tra và tìm các thẻ HTML thích hợp ..

Bao gồm các thẻ HTML trong mã của chúng tôi ..

Kiểm tra chéo dữ liệu bị xóa ..

Làm thế nào để bạn cạo một trang web bằng python selenium?

Xóa web bằng Selenium và Python..

Installation..

Bắt đầu nhanh.Chế độ không đầu Chrome.Thuộc tính trang WebDriver ..

Định vị các yếu tố.Các phương pháp Find_element.Selenium Webelement.....

Chụp ảnh màn hình ..

Chờ đợi một yếu tố có mặt ..

Thực hiện JavaScript ..

Sử dụng proxy với dây selen ..

Chặn hình ảnh và JavaScript ..

JavaScript có tốt hơn để cạo không?

Không có gì đáng ngạc nhiên, một số thư viện tự động hóa và trình duyệt web tiên tiến nhất cũng được viết bằng JavaScript, khiến nó còn hấp dẫn hơn đối với những người muốn trích xuất dữ liệu từ web.some of the most advanced web scraping and browser automation libraries are also written in JavaScript, making it even more attractive for those who want to extract data from the web.

programming python Selenium scrape JavaScript BeautifulSoup javascript content

Hướng dẫn how to scrape javascript content python selenium - làm thế nào để loại bỏ nội dung javascript trong python selen

Tự mình hiển thị các trang web của JavaScript

Selenium là gì?

Cài đặt selen

Điều hướng, chờ đợi và truy xuất

Phân tích dữ liệu động

Chức năng Selenium nâng cao

Giải pháp thay thế của Folrmfly

Câu hỏi thường gặp

Tóm tắt và đọc thêm

Selenium có thể cạo javascript không?

Làm cách nào để xóa dữ liệu từ trang web JavaScript?

Làm thế nào để bạn cạo một trang web bằng python selenium?

JavaScript có tốt hơn để cạo không?

Bài Viết Liên Quan

Quảng Cáo

Có thể bạn quan tâm

Toplist được quan tâm

Quảng cáo

Xem Nhiều

Quảng cáo

Chúng tôi

Điều khoản

Trợ giúp

Mạng xã hội