Hướng dẫn how do i transfer data from html to python? - làm cách nào để chuyển dữ liệu từ html sang python?

Mục tiêu của tôi là tương tác html với mã 3 ____ trên phần phụ trợ. Trên cơ sở, ____ 2 trang sẽ chứa một vài thanh trượt và giá trị của chúng sẽ được sử dụng làm đầu vào cho mã dựa trên ____ 3 để trả lại một số giá trị trở lại ____ 2 trang để trình bày.

Không có gì lạ mắt, tôi nghĩ. Tuy nhiên ... Tôi muốn giá trị của thanh trượt được gửi đến mã 3 ____ 3 ngay lập tức và mã 3 "ngay lập tức" gửi lại đầu ra của nó ("ngay lập tức" = ASAP). Vì một số lý do, tôi nhận được một trong hai hoạt động sau đây, nhưng không phải cả hai:

1. Giá trị của thanh trượt được cập nhật ngay lập tức và giá trị của nó được trình bày trên màn hình. Đồng thời, tôi có thể thấy rằng đúng 3 phương pháp được gọi, nhưng không có dữ liệu nào được chuyển.
2. Giá trị của thanh trượt được gửi cho mã 3 ____ và đầu ra của nó được trả lại cho ____ 2 trang, nhưng nó yêu cầu nhấp vào ____ 12 nút.

MWE:

html-page:

    
    


    

        

            
            

                Var. 1: 
            
        

        
    

Python-backend:

from flask import Flask, render_template, request

app = Flask(__name__)


@app.route('/')
def base():
    return render_template('estimate.html', var1=5)


@app.route('/output', methods=['POST'])
def update():
    # var1 = request.form['var1']
    data = request.form  # results in an empty dict: `ImmutableMultiDict([])`
    var1 = 5  # so the return-statement does not break
    print(data)  # I know that this method is called, as `data` (empty dict) is printed when I change the sliders value
    return render_template('estimate.html', var1=var1, output=f'Output\nVariable 1 = {var1}')


if __name__ == '__main__':
    app.run(debug=True)

Tôi biết về tùy chọn

from flask import Flask, render_template, request

app = Flask(__name__)


@app.route('/')
def base():
    return render_template('estimate.html', var1=5)


@app.route('/output', methods=['POST'])
def update():
    # var1 = request.form['var1']
    data = request.form  # results in an empty dict: `ImmutableMultiDict([])`
    var1 = 5  # so the return-statement does not break
    print(data)  # I know that this method is called, as `data` (empty dict) is printed when I change the sliders value
    return render_template('estimate.html', var1=var1, output=f'Output\nVariable 1 = {var1}')


if __name__ == '__main__':
    app.run(debug=True)

Tôi im lặng mới đến html và không biết nhiều về

from flask import Flask, render_template, request

app = Flask(__name__)


@app.route('/')
def base():
    return render_template('estimate.html', var1=5)


@app.route('/output', methods=['POST'])
def update():
    # var1 = request.form['var1']
    data = request.form  # results in an empty dict: `ImmutableMultiDict([])`
    var1 = 5  # so the return-statement does not break
    print(data)  # I know that this method is called, as `data` (empty dict) is printed when I change the sliders value
    return render_template('estimate.html', var1=var1, output=f'Output\nVariable 1 = {var1}')


if __name__ == '__main__':
    app.run(debug=True)

Hy vọng rằng bất cứ ai cũng có thể giúp tôi! Tôi đã tìm kiếm xung quanh yên tĩnh rất nhiều, nhưng chưa tìm thấy câu trả lời cho vấn đề của tôi.

Nếu nó quan trọng: Tôi đang sử dụng Python 3.7 và sử dụng html0 làm khung.

Rất thường có tình huống phát sinh khi bạn cần nhanh chóng lấy thông tin từ một trang web, thường là dữ liệu số và rất có thể được trình bày dưới dạng bảng.

Điều này xảy ra trong các ứng dụng tư nhân, nhưng cũng trong các công ty. & nbsp; một nhiệm vụ thuộc loại này luôn luôn được đặt ra, vì nếu dự đoán dữ liệu sẽ được lấy từ trang web thông qua API được cung cấp bởi trang web của nhà cung cấp thông tin.

Độ nhạy thời gian của một nhiệm vụ như vậy thường dao động trong một vài giờ, hoặc 1-2 ngày làm việc, hoặc tối đa một tuần, nhưng thông tin mà chúng tôi nhận được từ trang web của một trang web của bên thứ ba là rất quan trọng chỉ là tại thời điểm đó. "Một khâu trong thời gian tiết kiệm chín."

Tùy chọn truy cập thông tin trên mạng

Có hai cách để truy cập thông tin mới nhất trên Internet.

Đầu tiên là thông qua API mà các trang web truyền thông cung cấp và lần thứ hai là thông qua phân tích cú pháp trang web (quét web).

Sử dụng API là cực kỳ đơn giản và có lẽ cách tốt nhất để có được thông tin cập nhật là gọi giao diện chương trình phù hợp. Nhưng, thật không may, không phải tất cả các trang web cung cấp API công khai hoặc bạn chỉ đơn giản là không có đủ thời gian để lấy dữ liệu thông qua API. & nbsp; Trong trường hợp này, có một cách khác và đây là phân tích trang web.

Có ba bước chính để nhận thông tin từ một trang web (Hình 1).

Trình tự các hành động để có được thông tin từ một trang web sẽ tương ứng với các bước trong phần trước và nói chung có vẻ như thế này:

• Nhận URL của trang mà chúng tôi muốn trích xuất dữ liệu.
• Sao chép hoặc tải xuống nội dung HTML của trang.
• Phân tích nội dung HTML và nhận dữ liệu cần thiết.

Trình tự này giúp bạn truy cập URL của trang mong muốn, nhận nội dung HTML và phân tích dữ liệu cần thiết (Hình 2). Nhưng đôi khi bạn cần phải vào trang web trước tiên, và sau đó đi đến một địa chỉ cụ thể để lấy dữ liệu. Trong trường hợp này, một bước nữa được thêm vào để vào trang web.

Hình 2. Sơ đồ cấu trúc để nhận thông tin từ các trang web trong Python

Tại sao nó có thể dễ dàng thực hiện trong Python

Tại sao vấn đề này cần phải được giải quyết trong Python? Không còn nghi ngờ gì nữa, có những giải pháp khác sử dụng các ngôn ngữ lập trình khác. & nbsp; Tuy nhiên, có một số lợi thế đáng kể khi bạn sử dụng & nbsp; python:

• Python là ngôn ngữ phiên dịch, bạn không cần biên dịch mã
• Python và các gói liên quan của nó là miễn phí
• Ngưỡng nhập khá thấp, bạn có thể tìm ra nó trong 30-40 phút
• Python hoạt động tốt trên Linux, MacOS và Windows
• Đã có các giải pháp làm sẵn, bạn không cần phải phát minh lại bánh xe, chỉ cần điều chỉnh nó theo nhu cầu của bạn

Gói cho Python

Để phân tích nội dung HTML và có được dữ liệu cần thiết, cách đơn giản nhất là sử dụng thư viện đẹp. Đây là một gói Python tuyệt vời để phân tích các tài liệu HTML và XML.

Bạn cũng có thể sử dụng thư viện Selenium để vào trang web, điều hướng đến URL mong muốn trong một phiên và tải xuống nội dung HTML. Selenium Python giúp với các nhấp chuột, nhập nội dung và các thao tác khác.

Bạn có thể sử dụng thư viện LXML. Nó hoạt động rất nhanh, nhưng có nhiều hạn chế. Để tránh xác định mục nhập vào trang bằng chương trình robot, bạn cần mô phỏng trình duyệt của người dùng thông thường.

Khung lấy có thể giả vờ là người dùng thường xuyên với tất cả các loại tác nhân người dùng và cookie. Gói này rất dễ học, nhưng bạn sẽ phải đi sâu vào tài liệu của nó.

Có nhiều thư viện Python để gửi các yêu cầu HTTP, nổi tiếng nhất là Urllib/Urllib2 và các yêu cầu. Yêu cầu thường được coi là thuận tiện và súc tích hơn.

Sau đây là nhiều chi tiết về BeautifulSoup cũng như các tùy chọn khác cho thư viện để phân tích HTML.

Đẹp, LXML

Đây là hai thư viện phổ biến nhất để phân tích cú pháp HTML và sự lựa chọn của một trong số chúng có khả năng. Hơn nữa, các thư viện này được đan xen chặt chẽ: BeautifulSoup bắt đầu sử dụng LXML làm trình phân tích cú pháp nội bộ để tăng tốc và mô -đun Soupparser đã được thêm vào LXML. Bạn có thể đọc thêm về ưu và nhược điểm của các thư viện này trong tài liệu và trên StackOverflow.

Đẹp là một thư viện để phân tích các tệp HTML/XML, được viết bằng ngôn ngữ lập trình Python, thậm chí có thể chuyển đổi đánh dấu không chính xác thành cây phân tích cú pháp. Nó hỗ trợ các cách đơn giản và tự nhiên để điều hướng, tìm kiếm và sửa đổi cây phân tích cú pháp. Trong hầu hết các trường hợp, nó sẽ giúp lập trình viên tiết kiệm giờ và ngày làm việc.

Đẹp cho phép bạn làm việc với Unicode, mở ra những cơ hội tuyệt vời để xử lý các trang bằng các ngôn ngữ khác nhau.

Nói chung, thư viện được xây dựng và cấu trúc rất tốt đến nỗi nó cho phép bạn nhanh chóng lấy trang và nhận thông tin cần thiết. Chức năng của thư viện được thể hiện bằng các phần chính sau:

• Phân tích điều hướng cây
• Tìm kiếm cây phân tích cú pháp
• Tìm kiếm bên trong cây phân tích cú pháp
• Sửa đổi cây phân tích cú pháp

LXML là một thư viện tuyệt vời để sử dụng với BeautifulSoup để phân tích các tệp với cấu trúc cây và nó hỗ trợ API ElementTree. Thư viện này cung cấp ràng buộc cho các thư viện C libxml2 và libxslt.

Quét

Scrapy không chỉ là một thư viện, mà là toàn bộ khung nguồn mở để truy xuất dữ liệu từ các trang web. Nó có nhiều chức năng hữu ích: các truy vấn không đồng bộ, khả năng sử dụng bộ chọn XPath và CSS để xử lý dữ liệu, công việc thuận tiện với mã hóa và nhiều hơn nữa. & NBSP;

Scrapy là một công cụ tuyệt vời cho cả phân tích trang web đơn giản và các giải pháp phức tạp. Cấu trúc của nó rất rõ ràng và trực quan. Nó là nhanh (nhờ xoắn) và rất dễ mở rộng. Nó cung cấp nhiều ví dụ và các phần mở rộng sẵn sàng sử dụng. Scrapy là một trong những công cụ tốt nhất trong lớp của nó. & NBSP; Scrapy chủ yếu được thiết kế để quét web, nhưng nó cũng có thể được sử dụng để trích xuất dữ liệu bằng API.
Scrapy is mainly designed for web scraping, but it can also be used to extract data using APIs.

Vồ lấy

Grab & nbsp; là một thư viện để làm việc với các tài liệu mạng. Các lĩnh vực chính mà F Grab là hữu ích là:

• Khai thác dữ liệu từ các trang web (Cạo trang trang web)
• Làm việc với API mạng
• Ví dụ, tự động hóa công việc với các trang web

Lấy bao gồm hai phần:

• Giao diện chính để tạo yêu cầu mạng và làm việc với kết quả của nó. Giao diện này thuận tiện để sử dụng trong các tập lệnh đơn giản, nơi bạn không cần nhiều điều chỉnh, hoặc trực tiếp trong bảng điều khiển Python.
• Giao diện nhện để phát triển trình phân tích cú pháp không đồng bộ. Thứ nhất, giao diện này cho phép mô tả nghiêm ngặt hơn trong logic của trình phân tích cú pháp và thứ hai là sự phát triển của các trình phân tích cú pháp với một số lượng lớn các luồng mạng.

Thư viện yêu cầu

Thư viện yêu cầu là một thư viện hiệu quả để nhập dữ liệu từ các trang web. & nbsp; nó cho phép thực hiện các yêu cầu HTTP, có nghĩa là bạn có thể sử dụng nó để truy cập các trang web. Thư viện yêu cầu có những lợi thế sau:

• Thread-safe
• Quản lý thời gian chờ kết nối
• Bánh quy khóa/giá trị và các phiên có sự kiên trì cookie
• Giải nén tự động
• Xác thực cơ bản/tiêu hóa
• Xác minh SSL kiểu trình duyệt
• Hoạt động với API RESTful, tức là, tất cả các phương thức của nó - đặt, nhận, xóa, đăng.

Nhưng thư viện yêu cầu không được khuyến nghị nếu trang web có nội dung ẩn hoặc tải JavaScript.

urllib/urllib2

Urllib2 là một mô -đun Python giúp bạn làm việc với URL. Mô -đun có các chức năng và lớp riêng giúp làm việc với các URL - xác thực cơ bản và tiêu hóa, chuyển hướng, cookie, và nhiều hơn nữa.

Thư viện này là rộng rãi. Nó hỗ trợ xác thực cơ bản và tiêu hóa, chuyển hướng, cookie và nhiều hơn nữa.

Mặc dù cả hai mô -đun được thiết kế để hoạt động với các URL, chúng có chức năng khác nhau.

Urllib2 có thể lấy một đối tượng yêu cầu làm đối số để thêm các tiêu đề vào yêu cầu và hơn thế nữa, trong khi Urllib chỉ có thể chấp nhận URL chuỗi.

Urllib có phương thức URLENCODE được sử dụng để mã hóa chuỗi thành chế độ xem thỏa mãn các quy tắc dữ liệu trong các truy vấn.

Đây là lý do tại sao Urllib và Urllib2 được sử dụng cùng nhau rất thường xuyên.

Phân tích cú pháp

XPath là ngôn ngữ truy vấn cho các tài liệu XML và XHTML. Nó được sử dụng phổ biến nhất khi làm việc với thư viện LXML.

XPath (Ngôn ngữ đường dẫn XML) là ngôn ngữ truy vấn cho các phần tử của tài liệu XML. Nó được thiết kế để cung cấp quyền truy cập vào các phần của tài liệu XML trong các tệp chuyển đổi XSLT và là tiêu chuẩn của tập đoàn W3C. XPath nhằm mục đích thực hiện điều hướng DOM trong XML. XPath sử dụng cú pháp nhỏ gọn khác với XML.

Giống như SQL, XPath là ngôn ngữ truy vấn khai báo. Để có được dữ liệu quan tâm, bạn chỉ cần tạo một truy vấn mô tả dữ liệu.

LXML là thư viện giàu tính năng và dễ sử dụng nhất để xử lý XML và HTML trong Python.

Một thư viện mạnh mẽ khác để phân tích cú pháp là biểu thức chính quy (RE). Với biểu thức thường xuyên, bạn có thể làm bất cứ điều gì cả. Nghĩa đen là tất cả mọi thứ. Bạn có thể phân tích bất kỳ thông tin nào từ một trang web, bạn có thể thực hiện tiền xử lý và nhiều tùy chọn ngon hơn.

Tất nhiên, các biểu thức thông thường sẽ có ích, nhưng chỉ sử dụng chúng có lẽ là một chút quá khó, và không phải là những gì chúng được thiết kế.

Điều rất quan trọng là viết chính xác trình phân tích cú pháp, vì thường thì thông tin được trình bày trên trang không ở dạng bảng, mà ở dạng thẻ HTML nhất định, khiến cho việc cấu trúc và phân tích thông tin chính xác hơn từ trang .

Bắt đầu cập nhật thông tin tại một thời điểm cụ thể

Nếu chúng tôi phân tích một trang web thường xuyên cập nhật nội dung, ví dụ, kết quả cạnh tranh hoặc kết quả hiện tại cho một số sự kiện thông tin, nên tạo một nhiệm vụ cron để chạy chương trình này trong các khoảng thời gian cụ thể.

Thư viện TQDM cho thấy tiến trình của bất kỳ chu kỳ nào. Bạn chỉ cần bọc nó và bảng điều khiển sẽ thấy tiến trình. Nó được sử dụng chỉ để rõ ràng, nhưng nó giúp rất nhiều khi quá trình không nhanh.

Có thể làm điều này mà không có Python?

Vâng, nó là có thể. Bạn chỉ cần tìm dịch vụ đám mây phù hợp nơi một hệ thống như vậy đã được tạo; Sau đó, không có bất kỳ vấn đề nào, bạn có thể định cấu hình phân tích cú pháp của trang web bạn cần ở đó và mọi thứ sẽ hoạt động tốt. Ví dụ: bạn có thể chọn từ các dịch vụ đám mây sau đây, theo sở thích và nhu cầu của bạn.

Nhập khẩu.io cung cấp cho nhà phát triển một cách dễ dàng để tạo các gói dữ liệu của riêng họ: bạn chỉ cần nhập thông tin từ một trang web cụ thể và xuất nó sang CSV. Bạn có thể trích xuất hàng ngàn trang web trong vài phút mà không cần viết một dòng mã duy nhất và tạo hàng ngàn API theo yêu cầu của bạn.

Webhose.io cung cấp quyền truy cập trực tiếp theo thời gian thực vào dữ liệu có cấu trúc thu được bằng cách phân tích hàng ngàn nguồn trực tuyến. Trình phân tích cú pháp này có thể thu thập dữ liệu web bằng hơn 240 ngôn ngữ và lưu kết quả ở các định dạng khác nhau, bao gồm XML, JSON và RSS.

ScrapingHub là một công cụ phân tích dữ liệu dựa trên đám mây giúp bạn chọn và thu thập dữ liệu cần thiết cho bất kỳ mục đích nào. ScrapingHub sử dụng Crawlera, một công cụ quay vòng proxy thông minh được trang bị các cơ chế có thể bỏ qua việc bảo vệ chống lại bot. Dịch vụ này có thể đối phó với khối lượng thông tin và trang web khổng lồ được bảo vệ khỏi robot.

Ngoài ra, bảng bảng tính Google cho phép bạn nhập dữ liệu từ các trang web và có thể rất thuận tiện.

Kết luận

Nói chung, chúng ta có thể nói rằng phương pháp này khá khả thi. Nhưng đừng lạm dụng phương pháp này, tốt hơn là sử dụng API để lấy thông tin từ trang web. Nhưng như một giải pháp tạm thời cho một vấn đề nhạy cảm về thời gian, hệ thống này, hoạt động và hiệu quả hơn là chỉ sao chép dữ liệu bằng tay.

Hãy chú ý đến thư viện đẹp, sử dụng trình duyệt Selenium với các trình cắm cần thiết từ Python và sử dụng gấu trúc. Nếu cần thiết, chỉ cần kích hoạt dịch vụ đám mây làm sẵn cần thiết.

Chúc may mắn với các dự án của bạn và công việc dễ dàng trên Python. & nbsp;
 

Làm cách nào để nhập dữ liệu HTML vào Python?

Làm cách nào để chuyển dữ liệu từ biểu mẫu HTML sang tệp Python?

Bạn có thể kết nối HTML với Python không?

Làm cách nào để mở tệp HTML trong Python?