Hướng dẫn which encoding is used in python? - mã hóa nào được sử dụng trong python?

Các lớp cơ sở Codec

Mô -đun 'strict'9 xác định một tập hợp các lớp cơ sở xác định các giao diện để làm việc với các đối tượng codec và cũng có thể được sử dụng làm cơ sở để triển khai CODEC tùy chỉnh.

Mỗi codec phải xác định bốn giao diện để làm cho nó có thể sử dụng được là codec trong python: bộ mã hóa không trạng thái, bộ giải mã không trạng thái, trình đọc luồng và người viết luồng. Trình đọc luồng và nhà văn thường sử dụng lại bộ mã hóa/bộ giải mã không trạng thái để thực hiện các giao thức tệp. Các tác giả Codec cũng cần xác định cách thức codec sẽ xử lý các lỗi mã hóa và giải mã.

>>> 'German ß, ♬'.encode(encoding='ascii', errors='backslashreplace')
b'German \\xdf, \\u266c'
>>> 'German ß, ♬'.encode(encoding='ascii', errors='xmlcharrefreplace')
b'German ß, ♬'

Encodings and Unicode¶

Strings are stored internally as sequences of code points in range bytes90–bytes91. (See PEP 393 for more details about the implementation.) Once a string object is used outside of CPU and memory, endianness and how these arrays are stored as bytes become an issue. As with other codecs, serialising a string into a sequence of bytes is known as encoding, and recreating the string from the sequence of bytes is known as decoding. There are a variety of different text serialisation codecs, which are collectivity referred to as text encodings.

The simplest text encoding (called bytes92 or bytes93) maps the code points 0–255 to the bytes bytes94–bytes95, which means that a string object that contains code points above bytes96 can’t be encoded with this codec. Doing so will raise a UnicodeEncodeError that looks like the following (although the details of the error message may differ): bytes98.

There’s another group of encodings (the so called charmap encodings) that choose a different subset of all Unicode code points and how these code points are mapped to the bytes bytes94–bytes95. To see how this is done simply open e.g. 'strict'01 (which is an encoding that is used primarily on Windows). There’s a string constant with 256 characters that shows you which character is mapped to which byte value.

All of these encodings can only encode 256 of the 1114112 code points defined in Unicode. A simple and straightforward way that can store each Unicode code point, is to store each code point as four consecutive bytes. There are two possibilities: store the bytes in big endian or in little endian order. These two encodings are called 'strict'02 and 'strict'03 respectively. Their disadvantage is that if e.g. you use 'strict'02 on a little endian machine you will always have to swap bytes on encoding and decoding. 'strict'05 avoids this problem: bytes will always be in natural endianness. When these bytes are read by a CPU with a different endianness, then bytes have to be swapped though. To be able to detect the endianness of a 'strict'06 or 'strict'05 byte sequence, there’s the so called BOM (“Byte Order Mark”). This is the Unicode character 'strict'08. This character can be prepended to every 'strict'06 or 'strict'05 byte sequence. The byte swapped version of this character ('strict'11) is an illegal character that may not appear in a Unicode text. So when the first character in a 'strict'06 or 'strict'05 byte sequence appears to be a 'strict'14 the bytes have to be swapped on decoding. Unfortunately the character 'strict'08 had a second purpose as a 'strict'16: a character that has no width and doesn’t allow a word to be split. It can e.g. be used to give hints to a ligature algorithm. With Unicode 4.0 using 'strict'08 as a 'strict'16 has been deprecated (with 'strict'19 ('strict'20) assuming this role). Nevertheless Unicode software still must be able to handle 'strict'08 in both roles: as a BOM it’s a device to determine the storage layout of the encoded bytes, and vanishes once the byte sequence has been decoded into a string; as a 'strict'22 it’s a normal character that will be decoded like any other.

There’s another encoding that is able to encode the full range of Unicode characters: UTF-8. UTF-8 is an 8-bit encoding, which means there are no issues with byte order in UTF-8. Each byte in a UTF-8 byte sequence consists of two parts: marker bits (the most significant bits) and payload bits. The marker bits are a sequence of zero to four 'strict'23 bits followed by a bytes39 bit. Unicode characters are encoded like this (with x being payload bits, which when concatenated give the Unicode character):

The least significant bit of the Unicode character is the rightmost x bit.

As UTF-8 is an 8-bit encoding no BOM is required and any 'strict'08 character in the decoded string (even if it’s the first character) is treated as a 'strict'34.

Without external information it’s impossible to reliably determine which encoding was used for encoding a string. Each charmap encoding can decode any random byte sequence. However that’s not possible with UTF-8, as UTF-8 byte sequences have a structure that doesn’t allow arbitrary byte sequences. To increase the reliability with which a UTF-8 encoding can be detected, Microsoft invented a variant of UTF-8 (that Python calls 'strict'35) for its Notepad program: Before any of the Unicode characters is written to the file, a UTF-8 encoded BOM (which looks like this as a byte sequence: 'strict'36, 'strict'37, 'strict'38) is written. As it’s rather improbable that any charmap encoded file starts with these byte values (which would e.g. map to

Latin nhỏ chữ I với đường đi

Dấu ngoặc kép bên phải

Dấu hỏi đảo ngược

Trong ISO-8859-1), điều này làm tăng xác suất mã hóa 'strict'39 có thể được đoán chính xác từ chuỗi byte. Vì vậy, ở đây BOM không được sử dụng để có thể xác định thứ tự byte được sử dụng để tạo chuỗi byte, nhưng là một chữ ký giúp đoán mã hóa. Khi mã hóa codec UTF-8-SIG sẽ viết 'strict'36, 'strict'37, 'strict'38 là ba byte đầu tiên cho tệp. Khi giải mã 'strict'39 sẽ bỏ qua ba byte đó nếu chúng xuất hiện dưới dạng ba byte đầu tiên trong tệp. Trong UTF-8, việc sử dụng BOM không được khuyến khích và thường nên tránh.

Mã hóa tiêu chuẩn

Python đi kèm với một số codec tích hợp, được triển khai dưới dạng hàm C hoặc với từ điển dưới dạng bảng ánh xạ. Bảng sau đây liệt kê các codec theo tên, cùng với một vài bí danh phổ biến và các ngôn ngữ mà mã hóa có thể được sử dụng. Cả danh sách các bí danh và danh sách các ngôn ngữ đều có nghĩa là toàn diện. Lưu ý rằng các lựa chọn thay thế chính tả chỉ khác nhau trong trường hợp hoặc sử dụng dấu gạch nối thay vì dấu gạch dưới cũng là bí danh hợp lệ; Do đó, ví dụ: 'strict'44 là bí danh hợp lệ cho codec 'strict'45.

Chi tiết triển khai CPYThon: Một số mã hóa phổ biến có thể bỏ qua bộ máy tra cứu Codecs để cải thiện hiệu suất. Các cơ hội tối ưu hóa này chỉ được CPython công nhận cho một bộ bí danh giới hạn (trường hợp không nhạy cảm) -ascii, UTF-16, UTF16, UTF-32, UTF32 và tương tự bằng cách sử dụng dấu gạch dưới thay vì dấu gạch ngang. Sử dụng các bí danh thay thế cho các mã hóa này có thể dẫn đến việc thực hiện chậm hơn. Some common encodings can bypass the codecs lookup machinery to improve performance. These optimization opportunities are only recognized by CPython for a limited set of (case insensitive) aliases: utf-8, utf8, latin-1, latin1, iso-8859-1, iso8859-1, mbcs (Windows only), ascii, us-ascii, utf-16, utf16, utf-32, utf32, and the same using underscores instead of dashes. Using alternative aliases for these encodings may result in slower execution.

Đã thay đổi trong phiên bản 3.6: Cơ hội tối ưu hóa được công nhận cho US-ASCII.Optimization opportunity recognized for us-ascii.

Nhiều bộ ký tự hỗ trợ cùng một ngôn ngữ. Chúng khác nhau ở các ký tự riêng lẻ (ví dụ: dấu hiệu Euro có được hỗ trợ hay không) và trong việc gán ký tự cho các vị trí mã. Đối với các ngôn ngữ châu Âu nói riêng, các biến thể sau đây thường tồn tại:

• một mã ISO 8859

• Trang mã Windows Windows, thường có nguồn gốc từ mã 8859, nhưng thay thế các ký tự điều khiển bằng các ký tự đồ họa bổ sung

• Trang mã EBCDIC IBM

• Trang mã PC IBM, tương thích ASCII

ISO-8859-16, Latin10, L10The utf-16* and utf-32* encoders no longer allow surrogate code points (CodecInfo6–CodecInfo7) to be encoded. The utf-32* decoders no longer decode byte sequences that correspond to surrogate code points.

Đông Nam Châu Âu'strict'48 is now an alias to 'strict'49.

JOHAB

CP1361, MS1361

'strict'53 - Tên miền quốc tế hóa trong các ứng dụng

Mô -đun này thực hiện RFC 3490 (tên miền quốc tế hóa trong các ứng dụng) và RFC 3492 (NamePrep: Hồ sơ StringPrep cho tên miền quốc tế hóa (IDN)). Nó được xây dựng dựa trên mã hóa 'strict'83 và 'strict'84.RFC 3490 (Internationalized Domain Names in Applications) and RFC 3492 (Nameprep: A Stringprep Profile for Internationalized Domain Names (IDN)). It builds upon the 'strict'83 encoding and 'strict'84.

Nếu bạn cần tiêu chuẩn IDNA 2008 từ RFC 5891 và RFC 5895, hãy sử dụng mô-đun IDNA của bên thứ ba.RFC 5891 and RFC 5895, use the third-party idna module.

Các RFC này cùng nhau xác định một giao thức để hỗ trợ các ký tự không phải ASCII trong các tên miền. Một tên miền chứa các ký tự không phải ASCII (như 'strict'85) được chuyển đổi thành mã hóa tương thích ASCII (ACE, như 'strict'86). Hình thức ACE của tên miền sau đó được sử dụng ở tất cả các nơi mà các ký tự tùy ý không được phép bởi giao thức, chẳng hạn như truy vấn DNS, các trường HTTP, v.v. Chuyển đổi này được thực hiện trong ứng dụng; Nếu có thể vô hình với người dùng: Ứng dụng nên chuyển đổi nhãn tên miền Unicode một cách minh bạch thành IDNA trên dây và chuyển đổi nhãn ACE trở lại Unicode trước khi trình bày chúng cho người dùng.

Python hỗ trợ chuyển đổi này theo nhiều cách: codec 'strict'87 thực hiện chuyển đổi giữa unicode và ace, tách một chuỗi đầu vào thành các nhãn dựa trên các ký tự phân cách được xác định trong Phần 3.1 của RFC 3490 và chuyển đổi từng nhãn thành ACE khi cần thiết Chuỗi byte thành các nhãn dựa trên thiết bị phân tách 'strict'88 và chuyển đổi bất kỳ nhãn ACE nào được tìm thấy thành Unicode. Hơn nữa, mô -đun 'strict'89 chuyển đổi trong suốt tên máy chủ Unicode thành ACE, do đó các ứng dụng không cần phải quan tâm đến việc tự chuyển đổi tên máy chủ khi chúng chuyển chúng đến mô -đun ổ cắm. Trên hết, các mô -đun có tên máy chủ là tham số chức năng, chẳng hạn như 'strict'90 và 'strict'91, chấp nhận tên máy chủ Unicode ('strict'90 sau đó cũng trong việc gửi một tên máy chủ IDNA trong trường nếu nó gửi trường đó).section 3.1 of RFC 3490 and converting each label to ACE as required, and conversely separating an input byte string into labels based on the 'strict'88 separator and converting any ACE labels found into unicode. Furthermore, the 'strict'89 module transparently converts Unicode host names to ACE, so that applications need not be concerned about converting host names themselves when they pass them to the socket module. On top of that, modules that have host names as function parameters, such as 'strict'90 and 'strict'91, accept Unicode host names ('strict'90 then also transparently sends an IDNA hostname in the field if it sends that field at all).

Khi nhận tên máy chủ từ dây (chẳng hạn như trong tra cứu tên ngược), không thực hiện chuyển đổi tự động sang unicode được thực hiện: Các ứng dụng muốn trình bày tên máy chủ đó cho người dùng nên giải mã chúng thành Unicode.

Mô-đun 'strict'53 cũng thực hiện thủ tục tên, thực hiện một số bình thường hóa trên tên máy chủ, để đạt được tính nhạy cảm của các tên miền quốc tế và để thống nhất các ký tự tương tự. Các chức năng NamePrep có thể được sử dụng trực tiếp nếu muốn.

Trả về phiên bản tên của nhãn. Việc triển khai hiện đang giả định các chuỗi truy vấn, vì vậy 'strict'94 là đúng.

Chuyển đổi nhãn thành ASCII, như được chỉ định trong RFC 3490. 'strict'95 được giả sử là sai.RFC 3490. 'strict'95 is assumed to be false.

Chuyển đổi nhãn thành Unicode, như được chỉ định trong RFC 3490.RFC 3490.

'strict'96 - Windows ANSI CodePage¶

Mô -đun này thực hiện mã hóa ANSI (CP_ACP).

Tính khả dụng: Windows.: Windows.

Đã thay đổi trong phiên bản 3.3: Hỗ trợ mọi xử lý lỗi.Support any error handler.

Thay đổi trong phiên bản 3.2: Trước 3.2, đối số lỗi đã bị bỏ qua; ValueError5 luôn được sử dụng để mã hóa và ValueError3 để giải mã.Before 3.2, the errors argument was ignored; ValueError5 was always used to encode, and ValueError3 to decode.

'strict'99-codec UTF-8 có chữ ký bom

Mô-đun này thực hiện một biến thể của codec UTF-8. Khi mã hóa, BOM được mã hóa UTF-8 sẽ được chuẩn bị cho UTF-8 được mã hóa byte. Đối với bộ mã hóa trạng thái, điều này chỉ được thực hiện một lần (trên lần ghi đầu tiên vào luồng byte). Khi giải mã, một BOM được mã hóa UTF-8 tùy chọn khi bắt đầu dữ liệu sẽ bị bỏ qua.