Hướng dẫn what is parse in html? - phân tích cú pháp trong html là gì?

Không giống như những gì Spudley nói, phân tích cú pháp về cơ bản là để giải quyết (một câu) vào các phần cấu thành của nó và mô tả vai trò cú pháp của chúng.resolve (a sentence) into its component parts and describe their syntactic roles.

Theo Wikipedia, phân tích phân tích cú pháp hoặc cú pháp là quá trình phân tích một chuỗi các ký hiệu, bằng ngôn ngữ tự nhiên hoặc bằng ngôn ngữ máy tính, theo các quy tắc của một ngữ pháp chính thức. Thuật ngữ phân tích cú pháp đến từ phân tích tiếng Latin (orationis), có nghĩa là phần (của lời nói).natural language or in computer languages, according to the rules of a formal grammar. The term parsing comes from Latin pars (orationis), meaning part (of speech).

Trong trường hợp của bạn, về cơ bản, phân tích cú pháp HTML là: lấy mã HTML và trích xuất thông tin liên quan như tiêu đề của trang, đoạn văn trong trang, tiêu đề trong trang, liên kết, văn bản táo bạo, v.v.

Phân tích cú pháp:

Một chương trình máy tính phân tích nội dung được gọi là trình phân tích cú pháp. Nói chung có 2 loại phân tích cú pháp:

Phân tích cú pháp từ trên xuống-Phân tích cú pháp từ trên xuống có thể được xem như là một nỗ lực để tìm các dẫn xuất nhiều nhất của dòng đầu vào bằng cách tìm kiếm các cây phân tích bằng cách sử dụng mở rộng từ trên xuống của các quy tắc ngữ pháp chính thức đã cho. Mã thông báo được tiêu thụ từ trái sang phải. Lựa chọn bao gồm được sử dụng để phù hợp với sự mơ hồ bằng cách mở rộng tất cả các mặt tay phải thay thế của các quy tắc ngữ pháp.- Top-down parsing can be viewed as an attempt to find left-most derivations of an input-stream by searching for parse trees using a top-down expansion of the given formal grammar rules. Tokens are consumed from left to right. Inclusive choice is used to accommodate ambiguity by expanding all alternative right-hand-sides of grammar rules.

Phân tích cú pháp từ dưới lên - Một trình phân tích cú pháp có thể bắt đầu với đầu vào và cố gắng viết lại nó thành ký hiệu bắt đầu. Theo trực giác, trình phân tích cú pháp cố gắng xác định vị trí các yếu tố cơ bản nhất, sau đó các yếu tố chứa các yếu tố này, v.v. Phân tích cú pháp LR là ví dụ của trình phân tích cú pháp từ dưới lên. Một thuật ngữ khác được sử dụng cho loại trình phân tích cú pháp này là phân tích cú pháp dịch chuyển. - A parser can start with the input and attempt to rewrite it to the start symbol. Intuitively, the parser attempts to locate the most basic elements, then the elements containing these, and so on. LR parsers are examples of bottom-up parsers. Another term used for this type of parser is Shift-Reduce parsing.

Một vài ví dụ phân tích cú pháp:

Trình phân tích cú pháp từ trên xuống:

• Trình phân tích con gốc đệ quy
• LL phân tích cú pháp (từ trái sang phải, dẫn xuất ngoài cùng trái)
• EARLEY SHARSER

Trình phân tích cú pháp từ dưới lên:

• Công cụ phân tích cú pháp ưu tiên
  • Trình phân tích cú pháp vận hành
  • Trình phân tích cú pháp ưu tiên đơn giản
• BC (bối cảnh giới hạn) phân tích cú pháp
• Trình phân tích cú pháp LR (từ trái sang phải, dẫn xuất ngoài cùng bên phải)Left-to-right, Rightmost derivation)
  • Trình phân tích cú pháp LR (DSLR) đơn giản
  • Trình phân tích cú pháp LALR
  • Trình phân tích cú pháp LR (LR (1)) Canonical
  • Trình phân tích cú pháp GLR
• Cyk Suy việc phân tích cú pháp
• Trình phân tích cú pháp đệ quy

Ví dụ trình phân tích cú pháp:

Dưới đây là một ví dụ HTML Phân tích cú pháp trong Python:

from HTMLParser import HTMLParser

# create a subclass and override the handler methods
class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print "Encountered a start tag:", tag
    def handle_endtag(self, tag):
        print "Encountered an end tag :", tag
    def handle_data(self, data):
        print "Encountered some data  :", data

# instantiate the parser and fed it some HTML
parser = MyHTMLParser()
parser.feed(''
            '
Parse me!
')

Đây là đầu ra:

Encountered a start tag: html
Encountered a start tag: head
Encountered a start tag: title
Encountered some data  : Test
Encountered an end tag : title
Encountered an end tag : head
Encountered a start tag: body
Encountered a start tag: h2
Encountered some data  : Parse me!
Encountered an end tag : h2
Encountered an end tag : body
Encountered an end tag : html

Người giới thiệu

• Wikipedia
• Tài liệu Python

Trước khi bắt đầu với khái niệm này, hãy để đi qua thuật ngữ một cách chi tiết. Từ phân tích cú pháp có nghĩa là chia một cái gì đó thành các thành phần của nó và sau đó mô tả vai trò cú pháp của chúng. Việc xử lý văn bản là một từ quen thuộc và viết tắt để xử lý một cái gì đó bằng cách sử dụng một quy trình tiêu chuẩn. Kết hợp hai giải thích cách trình phân tích cú pháp HTML hoạt động trong việc tạo ra các cây dom từ tài nguyên văn bản/HTML.

Cách tiếp cận này xác định các quy tắc phân tích cú pháp cho các tài liệu HTML để xác định xem chúng có đúng về mặt cú pháp hay không. Các điểm mà cú pháp không khớp, một lỗi phân tích được bắt đầu. Vào cuối quy trình nếu một tài nguyên được xác định là trong cú pháp HTML, thì đó là một tài liệu HTML.

Tổng quan về mô hình phân tích cú pháp

Đầu vào cho quy trình phân tích cú pháp HTML bao gồm một luồng các điểm mã, sau đó được truyền qua giai đoạn mã thông báo, sau đó là giai đoạn xây dựng cây để tạo ra một đối tượng tài liệu dưới dạng đầu ra. Hầu hết, dữ liệu được xử lý bởi giai đoạn mã thông báo đến từ mạng, nhưng nó cũng có thể đến từ một tập lệnh chạy trong tác nhân người dùng, ví dụ: Sử dụng API document.write (). Tokenizer và giai đoạn xây dựng cây chỉ có một bộ trạng thái, nhưng trong khi giai đoạn xây dựng cây đang làm việc với một mã thông báo, tokenizer có thể được nối lại. Bởi vì giai đoạn xây dựng cây này thường được coi là reentrant. Để xử lý các trường hợp như vậy, trình phân tích cú pháp có mức độ lồng kịch bản, ban đầu phải được đặt thành 0 và cờ tạm dừng trình phân tích cú pháp, phải được khởi tạo thành sai.

Lỗi phân tích cú pháp: Như đã đề cập trước đó, trong khi phân tích tài nguyên, nó được kiểm tra bằng cú pháp của nó và nếu một cái gì đó không phù hợp với giao thức tiêu chuẩn, nó sẽ gây ra lỗi phân tích cú pháp. Nếu một tài nguyên được tìm thấy là không có lỗi, nó sẽ trở thành một tài liệu. Lỗi phân tích chỉ xử lý các lỗi liên quan đến cú pháp của tài liệu HTML. Ngoài việc kiểm tra các lỗi phù hợp phân tích cú pháp cũng xác nhận các tài liệu để phù hợp với các yêu cầu phù hợp cơ bản. Việc xử lý lỗi cho các lỗi phân tích được xác định rõ. Nếu một hoặc nhiều điều kiện phân tích phân tích được tìm thấy trong tài liệu, thì nhiệm vụ của Checkers tuân thủ phải báo cáo ít nhất một trong số chúng và báo cáo không có lỗi nào. Trình kiểm tra phù hợp có thể báo cáo nhiều hơn một điều kiện lỗi phân tích nếu có nhiều hơn một điều kiện lỗi phân tích cú pháp trong tài liệu. As mentioned earlier, while parsing a resource, it is checked with its syntax and if something doesn’t match the standard protocol it raises a Parse error. If a resource is found to be error-free it becomes a document. Parse errors only deal with errors regarding the syntax of an HTML document. In addition to checking for parse errors conformance checkers also validate documents to match the basic conformance requirements. The error handling for parse errors is well-defined. If one or more parse conditions are found within the document, it is the duty of Conformance checkers to report at least one of them and report none if no error is raised. Conformance checkers may report more than one parse error condition if more than one parse error condition is encountered in the document.

Hiểu từng lớp

• Luồng byte đầu vào: Luồng các điểm mã sẽ là đầu vào cho giai đoạn mã thông báo ban đầu sẽ được tác nhân người dùng xem là một luồng byte thường đến từ mạng hoặc từ hệ thống tệp cục bộ. Các byte mã hóa các ký tự thực tế theo một mã hóa ký tự cụ thể mà tác nhân người dùng sử dụng để giải mã byte thành ký tự.
  The stream of code points that will be the input for the tokenization stage will be initially seen by the user agent as a stream of byte typically coming from a network or a from a local file system. The bytes encode the actual characters as per a particular character encoding, which the user agent uses to decode the bytes into characters.

  Đưa ra một mã hóa ký tự, các byte trong luồng byte đầu vào phải được chuyển đổi thành các ký tự để sử dụng chúng với tokenizer làm luồng đầu vào của nó, bỏ qua luồng byte đầu vào và mã hóa ký tự để giải mã.

  Khi trình phân tích cú pháp HTML đang giải mã luồng byte đầu vào, nó sử dụng mã hóa ký tự và độ tin cậy là dự kiến, chắc chắn hoặc không liên quan. Mã hóa được sử dụng và loại niềm tin vào mã hóa đó được sử dụng trong quá trình phân tích cú pháp để xác định xem có nên thay đổi mã hóa hay không. Nếu không cần mã hóa là cần thiết, ví dụ: Bởi vì trình phân tích cú pháp đang hoạt động trên một luồng Unicode và không phải sử dụng mã hóa ký tự, nên sự tự tin là không liên quan.

• Bộ tiền xử lý luồng đầu vào: Luồng đầu vào được tạo từ các ký tự được đẩy vào nó khi luồng byte đầu vào được giải mã hoặc từ các API khác nhau điều khiển trực tiếp luồng đầu vào. Trước giai đoạn mã thông báo, các dòng mới được chuẩn hóa trong luồng đầu vào. Ban đầu, ký tự đầu vào tiếp theo là ký tự đầu tiên trong đầu vào chưa được tiêu thụ và ký tự đầu vào hiện tại là ký tự cuối cùng đã được tiêu thụ. Điểm chèn là vị trí mà nội dung được chèn bằng cách sử dụng () thực sự được chèn. Điểm chèn không phải là một phần bù tuyệt đối vào luồng đầu vào thay vì nó liên quan đến vị trí của ký tự ngay sau nó. Ban đầu, điểm chèn là không xác định. The input stream is made of the characters pushed into it as the input byte stream is decoded or from the various APIs that directly manipulate the input stream. Before the tokenization stage, the newlines are normalized in the input stream. Initially, the next input character is the first character in the input that is yet to be consumed and the current input character is the last character to have been consumed. The insertion point is the position where content inserted using () is actually inserted. The insertion point is not an absolute offset into the input stream rather it is relative to the position of the character immediately after it. Initially, the insertion point is undefined.
• Mã thông báo: Việc triển khai dự kiến ​​sẽ hành động như thể họ đang sử dụng máy trạng thái sau để mã hóa HTML. Máy trạng thái dự kiến ​​sẽ bắt đầu ở trạng thái dữ liệu. Hầu hết các trạng thái lấy một ký tự duy nhất, hoặc chuyển máy trạng thái sang trạng thái mới để sử dụng lại ký tự đầu vào hiện tại hoặc chuyển nó sang trạng thái mới để tiêu thụ ký tự tiếp theo. Một số tiểu bang có hành vi phức tạp hơn và có thể nhận một số ký tự trước khi chuyển sang trạng thái khác. Trong một số trường hợp, trạng thái tokenizer cũng bị ảnh hưởng bởi giai đoạn xây dựng cây. Implementations are expected to act as if they are using the following state machine to tokenize HTML. The state machine is expected to start in a data state. Most states take a single character, which either switches the state machine to a new state to re-consume the current input character or switches it to a new state to consume the next character. Some states have more complicated behavior and can take in several characters before switching to another state. In some cases, the tokenizer state is also affected by the tree construction stage.

  Đầu ra được tạo ra trong bước này là một loạt các mã thông báo sau: DoctType, thẻ bắt đầu, thẻ kết thúc, bình luận, ký tự, kết thúc tập tin. Cũng tạo và phát ra mã thông báo là hai khái niệm hoàn toàn khác nhau. Khi một mã thông báo được phát ra, nó phải được tham gia ngay lập tức trong giai đoạn xây dựng cây. Giai đoạn xây dựng cây có thể ảnh hưởng đến trạng thái của giai đoạn mã thông báo và thậm chí được phép chèn các ký tự bổ sung vào luồng.

• Xây dựng cây: Trình tự mã thông báo từ trạng thái mã thông báo tạo thành đầu vào cho giai đoạn xây dựng cây. Khi trình phân tích cú pháp được tạo, giai đoạn xây dựng cây được liên kết với mô hình đối tượng tài liệu (DOM). Đầu ra của giai đoạn này bao gồm sửa đổi động hoặc mở rộng tài liệu đó của DOM DOM. Vì mỗi mã thông báo được gửi từ tokenizer, tác nhân người dùng dự kiến ​​sẽ tuân theo một thuật toán nhất định để đối phó với chúng. The sequence of tokens from the tokenization state form the input for the Tree construction stage. Once the parser is created, the tree construction stage is associated with the Document Object Model (DOM). The output of this stage consists of dynamically modifying or extending that document’s DOM tree. As each token is dispatched from the tokenizer the user agent is expected to follow a certain algorithm in order to deal with them.

Parse được sử dụng để làm gì?

Làm thế nào để bạn phân tích văn bản trong html?

Nó có nghĩa là gì để phân tích một văn bản?

Quá trình phân tích cú pháp là gì?