Hướng dẫn does python follow ascii character set? - python có theo bộ ký tự ascii không?

ASCII là viết tắt của mã tiêu chuẩn Mỹ để trao đổi thông tin. Đây là một tiêu chuẩn mã hóa ký tự sử dụng các số từ 0 đến 127 để biểu diễn các ký tự tiếng Anh. Ví dụ: mã ASCII cho ký tự A là 65 và 90 là cho Z. Tương tự, mã ASCII 97 dành cho A và 122 dành cho z. Mã ASCII cũng được sử dụng để đại diện cho các ký tự như Tab, Form Feed, Trở lại vận chuyển và một số ký hiệu.

Phương thức

'A string in python.'
'A string in pyth\xd8n.'
1 trong Python trả về một chuỗi chứa một biểu diễn có thể in của một đối tượng cho các ký tự không phải là alphabets hoặc vô hình như tab, return vận chuyển, nguồn cấp dữ liệu, v.v. trốn thoát.

Syntax:

ascii(object)

Parameters:

Đối tượng: Bất kỳ loại đối tượng.

Loại trở lại:

Trả về một chuỗi.

Phương thức

'A string in python.'
'A string in pyth\xd8n.'
1 trả về một ký tự trả về vận chuyển có thể in trong một chuỗi, như được hiển thị bên dưới.

mystr='''this
is a new line.'''

print(ascii(mystr))

Trong ví dụ trên,

'A string in python.'
'A string in pyth\xd8n.'
6 chỉ vào một chuỗi với phần trả lại vận chuyển, có một chuỗi trong dòng mới. Nó là một ký tự vô hình trong chuỗi. Phương thức
'A string in python.'
'A string in pyth\xd8n.'
1 trả về một chuỗi có thể in chuyển đổi một lần quay lại vận chuyển thành char \ n có thể in được. Xin lưu ý rằng nó không chuyển đổi các ký tự tiếng Anh khác.

Biểu tượng in ví dụ sau Ø Sử dụng phương thức

'A string in python.'
'A string in pyth\xd8n.'
1:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))

'A string in python.'
'A string in pyth\xd8n.'

Trong ví dụ trên, mã ASCII cho Ø là thập phân 216 và thập lục phân D8, được biểu thị bằng tiền tố \ x, \ xD8. Vì vậy, phương thức

'A string in python.'
'A string in pyth\xd8n.'
1 chuyển đổi Ø thành \ xD8 trong một chuỗi.

Nó thoát khỏi các ký tự không phải ASCII trong chuỗi bằng cách sử dụng

'A string in python.'
'A string in pyth\xd8n.'
2,
'A string in python.'
'A string in pyth\xd8n.'
3 hoặc
'A string in python.'
'A string in pyth\xd8n.'
4 thoát ra.

Sau đây cho thấy phương thức

'A string in python.'
'A string in pyth\xd8n.'
1 với danh sách.

Languages = ['pythØn','C++','Go']
print(ascii(Languages))

['pyth\xd8n', 'C++', 'Go']

ascii () vs print ()

Ví dụ sau đây cho thấy sự khác biệt giữa hàm

'A string in python.'
'A string in pyth\xd8n.'
1 và print ().

print(ascii('PythØn'))
print('Pyth\xd8n')

Bạn muốn kiểm tra xem bạn biết Python bao nhiêu?

Phóng thích

1.12

Howto này thảo luận về hỗ trợ Python, cho đặc tả Unicode để đại diện cho dữ liệu văn bản và giải thích các vấn đề khác nhau mà mọi người thường gặp khi cố gắng làm việc với Unicode.

Giới thiệu về Unicode¶

Định nghĩa¶

Ngày nay, các chương trình của nhóm cần có khả năng xử lý nhiều nhân vật khác nhau. Các ứng dụng thường được quốc tế hóa để hiển thị thông điệp và đầu ra bằng nhiều ngôn ngữ có thể chọn người dùng; Chương trình tương tự có thể cần xuất ra một thông báo lỗi bằng tiếng Anh, tiếng Pháp, tiếng Nhật, tiếng Do Thái hoặc tiếng Nga. Nội dung web có thể được viết bằng bất kỳ ngôn ngữ nào trong số này và cũng có thể bao gồm nhiều biểu tượng biểu tượng cảm xúc. Loại chuỗi Python, sử dụng tiêu chuẩn Unicode để biểu diễn các ký tự, cho phép các chương trình Python hoạt động với tất cả các ký tự có thể khác nhau này.

Unicode (https://www.unicode.org/) là một đặc điểm kỹ thuật nhằm liệt kê mọi nhân vật được sử dụng bởi ngôn ngữ con người và cung cấp cho mỗi nhân vật mã duy nhất của riêng mình. Các thông số kỹ thuật Unicode được sửa đổi và cập nhật liên tục để thêm các ngôn ngữ và ký hiệu mới.

Một ký tự là thành phần nhỏ nhất có thể của một văn bản. ‘A,’ ’B,’ C, v.v., đều là những nhân vật khác nhau. Cũng vậy ’è và’ í. Các nhân vật khác nhau tùy thuộc vào ngôn ngữ hoặc bối cảnh mà bạn đang nói. Ví dụ, có một nhân vật cho một số Roman Roman một, ‘ⅰ ⅰ, đó là cách tách biệt với chữ hoa‘ i. Họ thường trông giống nhau, nhưng đây là hai nhân vật khác nhau có ý nghĩa khác nhau.character is the smallest possible component of a text. ‘A’, ‘B’, ‘C’, etc., are all different characters. So are ‘È’ and ‘Í’. Characters vary depending on the language or context you’re talking about. For example, there’s a character for “Roman Numeral One”, ‘Ⅰ’, that’s separate from the uppercase letter ‘I’. They’ll usually look the same, but these are two different characters that have different meanings.

Tiêu chuẩn Unicode mô tả cách các ký tự được biểu diễn bằng các điểm mã. Giá trị điểm mã là một số nguyên trong phạm vi 0 đến 0x10FFFF (khoảng 1,1 triệu giá trị, số thực được gán ít hơn thế). Trong tiêu chuẩn và trong tài liệu này, một điểm mã được viết bằng ký hiệu

Languages = ['pythØn','C++','Go']
print(ascii(Languages))
5 có nghĩa là ký tự có giá trị
Languages = ['pythØn','C++','Go']
print(ascii(Languages))
6 (9,822 trong thập phân).code points. A code point value is an integer in the range 0 to 0x10FFFF (about 1.1 million values, the actual number assigned is less than that). In the standard and in this document, a code point is written using the notation
Languages = ['pythØn','C++','Go']
print(ascii(Languages))
5 to mean the character with value
Languages = ['pythØn','C++','Go']
print(ascii(Languages))
6 (9,822 in decimal).

Tiêu chuẩn Unicode chứa rất nhiều bảng liệt kê các ký tự và các điểm mã tương ứng của chúng:

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...

Nghiêm túc, những định nghĩa này ngụ ý rằng nó vô nghĩa khi nói ‘Đây là nhân vật

Languages = ['pythØn','C++','Go']
print(ascii(Languages))
5.
Languages = ['pythØn','C++','Go']
print(ascii(Languages))
5 là một điểm mã, đại diện cho một số ký tự cụ thể; Trong trường hợp này, nó đại diện cho nhân vật ‘Knight Chess Black,‘ ♞. Trong bối cảnh không chính thức, sự khác biệt giữa các điểm mã và ký tự đôi khi sẽ bị lãng quên.

Một ký tự được thể hiện trên màn hình hoặc trên giấy bởi một tập hợp các yếu tố đồ họa mà Lọ gọi là glyph. Ví dụ, glyph cho chữ A, ví dụ, là hai nét chéo và đột quỵ ngang, mặc dù các chi tiết chính xác sẽ phụ thuộc vào phông chữ được sử dụng. Hầu hết các mã Python không cần phải lo lắng về glyphs; Tìm ra glyph chính xác để hiển thị nói chung là công việc của bộ công cụ GUI hoặc trình kết xuất phông chữ Terminal.glyph. The glyph for an uppercase A, for example, is two diagonal strokes and a horizontal stroke, though the exact details will depend on the font being used. Most Python code doesn’t need to worry about glyphs; figuring out the correct glyph to display is generally the job of a GUI toolkit or a terminal’s font renderer.

Mã hóa

Để tóm tắt phần trước: Chuỗi Unicode là chuỗi các điểm mã, là các số từ 0 đến

Languages = ['pythØn','C++','Go']
print(ascii(Languages))
9 (1.114.111 thập phân). Trình tự các điểm mã này cần được biểu diễn trong bộ nhớ dưới dạng một tập hợp các đơn vị mã và các đơn vị mã sau đó được ánh xạ tới 8 bit byte. Các quy tắc để dịch một chuỗi unicode thành một chuỗi byte được gọi là mã hóa ký tự hoặc chỉ là một mã hóa.code units, and code units are then mapped to 8-bit bytes. The rules for translating a Unicode string into a sequence of bytes are called a character encoding, or just an encoding.

Mã hóa đầu tiên mà bạn có thể nghĩ là sử dụng các số nguyên 32 bit làm đơn vị mã, và sau đó sử dụng biểu diễn CPU của các số nguyên 32 bit. Trong đại diện này, chuỗi Py Python có thể trông như thế này:

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Đại diện này là đơn giản nhưng sử dụng nó thể hiện một số vấn đề.

  1. Nó không di động; Các bộ xử lý khác nhau đặt hàng byte khác nhau.

  2. Nó rất lãng phí không gian. Trong hầu hết các văn bản, phần lớn các điểm mã nhỏ hơn 127, hoặc dưới 255, do đó, rất nhiều không gian bị chiếm bởi

    ['pyth\xd8n', 'C++', 'Go']
    
    0 byte. Chuỗi trên mất 24 byte so với 6 byte cần thiết cho biểu diễn ASCII. Việc sử dụng RAM tăng không quan trọng quá nhiều (máy tính để bàn có gigabyte ram, và chuỗi thường không lớn), nhưng việc mở rộng việc sử dụng băng thông đĩa và mạng của chúng tôi bằng hệ số 4 là không thể chịu đựng được.

  3. Nó không tương thích với các chức năng C hiện có như

    ['pyth\xd8n', 'C++', 'Go']
    
    1, vì vậy một gia đình mới gồm các hàm chuỗi rộng sẽ cần được sử dụng.

Do đó, mã hóa này được sử dụng rất nhiều, và thay vào đó mọi người chọn các mã hóa khác hiệu quả và thuận tiện hơn, chẳng hạn như UTF-8.

UTF-8 là một trong những mã hóa được sử dụng phổ biến nhất và Python thường mặc định sử dụng nó. UTF là viết tắt của định dạng chuyển đổi Unicode, và ‘8 8 có nghĩa là các giá trị 8 bit được sử dụng trong mã hóa. (Ngoài ra còn có mã hóa UTF-16 và UTF-32, nhưng chúng ít được sử dụng hơn UTF-8.) UTF-8 sử dụng các quy tắc sau:

  1. Nếu điểm mã là <128, thì nó được biểu thị bằng giá trị byte tương ứng.

  2. Nếu điểm mã là> = 128, thì nó đã biến thành một chuỗi gồm hai, ba hoặc bốn byte, trong đó mỗi byte của chuỗi nằm trong khoảng từ 128 đến 255.

UTF-8 có một số thuộc tính thuận tiện:

  1. Nó có thể xử lý bất kỳ điểm mã Unicode.

  2. Một chuỗi unicode được biến thành một chuỗi các byte chỉ chứa các byte không được nhúng khi chúng đại diện cho ký tự null (U+0000). Điều này có nghĩa là các chuỗi UTF-8 có thể được xử lý bởi các hàm C như

    ['pyth\xd8n', 'C++', 'Go']
    
    2 và được gửi qua các giao thức có thể xử lý số byte không cho bất cứ thứ gì khác ngoài các điểm đánh dấu cuối chuỗi.

  3. Một chuỗi văn bản ASCII cũng là văn bản UTF-8 hợp lệ.

  4. UTF-8 khá nhỏ gọn; Phần lớn các ký tự thường được sử dụng có thể được biểu diễn bằng một hoặc hai byte.

  5. Nếu byte bị hỏng hoặc bị mất, thì có thể xác định điểm bắt đầu của điểm mã được mã hóa UTF-8 tiếp theo và đồng bộ hóa. Nó cũng không chắc rằng dữ liệu 8 bit ngẫu nhiên sẽ trông giống như UTF-8 hợp lệ.

  6. UTF-8 là mã hóa theo định hướng byte. Mã hóa chỉ định rằng mỗi ký tự được biểu diễn bằng một chuỗi cụ thể của một hoặc nhiều byte. Điều này tránh các vấn đề đặt hàng byte có thể xảy ra với các mã hóa theo định hướng số nguyên và từ, như UTF-16 và UTF-32, trong đó chuỗi byte thay đổi tùy thuộc vào phần cứng mà chuỗi được mã hóa.

Người giới thiệu¶

Trang web Unicode Consortium có biểu đồ ký tự, bảng thuật ngữ và phiên bản PDF của đặc tả Unicode. Hãy chuẩn bị cho một số đọc khó đọc. Một niên đại về nguồn gốc và sự phát triển của Unicode cũng có sẵn trên trang web.

Trên kênh YouTube máy tính, Tom Scott thảo luận ngắn gọn về lịch sử của Unicode và UTF-8 (9 phút 36 giây).

Để giúp hiểu tiêu chuẩn, Jukka Korpela đã viết một hướng dẫn giới thiệu để đọc các bảng ký tự Unicode.

Một bài viết giới thiệu tốt khác được viết bởi Joel Spolsky. Nếu phần giới thiệu này đã làm cho mọi thứ rõ ràng với bạn, bạn nên thử đọc bài viết thay thế này trước khi tiếp tục.

Các mục Wikipedia thường hữu ích; Ví dụ, xem các mục cho mã hóa ký tự và UTF-8 và UTF-8.

Python sườn Unicode Hỗ trợ Không

Bây giờ bạn đã học được sự thô sơ của Unicode, chúng ta có thể xem xét các tính năng của Python.

Loại chuỗi

Kể từ Python 3.0, loại ngôn ngữ

['pyth\xd8n', 'C++', 'Go']
3 có chứa các ký tự Unicode, nghĩa là bất kỳ chuỗi nào được tạo bằng cách sử dụng cú pháp chuỗi được trích dẫn ba, hoặc cú pháp chuỗi được trích xuất ba được lưu trữ dưới dạng unicode.

Mã hóa mặc định cho mã nguồn Python là UTF-8, do đó bạn có thể chỉ cần bao gồm một ký tự Unicode trong một chuỗi chữ:

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

Lưu ý bên: Python 3 cũng hỗ trợ bằng cách sử dụng các ký tự Unicode trong số nhận dạng:

mystr='''this
is a new line.'''

print(ascii(mystr))
0

Nếu bạn có thể nhập một ký tự cụ thể vào trình chỉnh sửa của mình hoặc muốn giữ mã nguồn ASCII-chỉ vì một số lý do, bạn cũng có thể sử dụng các chuỗi thoát trong các chữ viết. (Tùy thuộc vào hệ thống của bạn, bạn có thể thấy Glyph vốn thực tế thay vì thoát U.)

mystr='''this
is a new line.'''

print(ascii(mystr))
1

Ngoài ra, người ta có thể tạo một chuỗi bằng phương pháp

['pyth\xd8n', 'C++', 'Go']
6 của
['pyth\xd8n', 'C++', 'Go']
7. Phương thức này có một đối số mã hóa, chẳng hạn như
['pyth\xd8n', 'C++', 'Go']
8 và tùy chọn là một đối số lỗi.

Đối số lỗi chỉ định phản hồi khi chuỗi đầu vào có thể được chuyển đổi theo các quy tắc mã hóa. Các giá trị pháp lý cho đối số này là

['pyth\xd8n', 'C++', 'Go']
9 (tăng ngoại lệ
print(ascii('PythØn'))
print('Pyth\xd8n')
0),
print(ascii('PythØn'))
print('Pyth\xd8n')
1 (sử dụng
print(ascii('PythØn'))
print('Pyth\xd8n')
2,
print(ascii('PythØn'))
print('Pyth\xd8n')
3),
print(ascii('PythØn'))
print('Pyth\xd8n')
4 (chỉ cần để ký tự ra khỏi kết quả Unicode) hoặc
print(ascii('PythØn'))
print('Pyth\xd8n')
5 (chèn chuỗi thoát
print(ascii('PythØn'))
print('Pyth\xd8n')
6). Các ví dụ sau đây cho thấy sự khác biệt:

mystr='''this
is a new line.'''

print(ascii(mystr))
2

Mã hóa được chỉ định là các chuỗi chứa tên mã hóa. Python đi kèm với khoảng 100 mã hóa khác nhau; Xem tham chiếu thư viện Python tại các mã hóa tiêu chuẩn để biết danh sách. Một số mã hóa có nhiều tên; Ví dụ:

print(ascii('PythØn'))
print('Pyth\xd8n')
7,
print(ascii('PythØn'))
print('Pyth\xd8n')
8 và
print(ascii('PythØn'))
print('Pyth\xd8n')
9, đều là từ đồng nghĩa với cùng một mã hóa.Standard Encodings for a list. Some encodings have multiple names; for example,
print(ascii('PythØn'))
print('Pyth\xd8n')
7,
print(ascii('PythØn'))
print('Pyth\xd8n')
8 and
print(ascii('PythØn'))
print('Pyth\xd8n')
9’ are all synonyms for the same encoding.

Các chuỗi unicode một ký tự cũng có thể được tạo với hàm tích hợp

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...
0, lấy số nguyên và trả về một chuỗi unicode có độ dài 1 có chứa điểm mã tương ứng. Hoạt động ngược là hàm
0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...
1 tích hợp có chuỗi Unicode một ký tự và trả về giá trị điểm mã:

mystr='''this
is a new line.'''

print(ascii(mystr))
3

Chuyển đổi sang byte¶

Phương pháp ngược lại của

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...
2 là
0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...
3, trả về biểu diễn
['pyth\xd8n', 'C++', 'Go']
7 của chuỗi unicode, được mã hóa trong mã hóa được yêu cầu.

Tham số lỗi giống như tham số của phương thức

['pyth\xd8n', 'C++', 'Go']
6 nhưng hỗ trợ một vài trình xử lý có thể hơn. Cũng như
['pyth\xd8n', 'C++', 'Go']
9,
print(ascii('PythØn'))
print('Pyth\xd8n')
4 và
print(ascii('PythØn'))
print('Pyth\xd8n')
1 (trong trường hợp này chèn một dấu hỏi thay vì ký tự không thể kiểm soát), cũng có
0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...
9 (chèn tham chiếu ký tự XML),
   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
0 (chèn một chuỗi thoát ____.
   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
3 Trình tự thoát).

Ví dụ sau đây cho thấy các kết quả khác nhau:

mystr='''this
is a new line.'''

print(ascii(mystr))
4

Các thói quen cấp thấp để đăng ký và truy cập các mã hóa có sẵn được tìm thấy trong mô-đun

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
4. Việc thực hiện các mã hóa mới cũng đòi hỏi phải hiểu mô -đun
   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
4. Tuy nhiên, các chức năng mã hóa và giải mã được trả về bởi mô-đun này thường mức thấp hơn so với thoải mái và viết mã hóa mới là một nhiệm vụ chuyên dụng, do đó, mô-đun giành chiến thắng được đề cập trong howto này.

Unicode theo nghĩa đen trong mã nguồn Python

Trong mã nguồn Python, các điểm mã unicode cụ thể có thể được viết bằng chuỗi thoát

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
6, theo sau là bốn chữ số hex đưa ra điểm mã. Trình tự thoát
   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
7 là tương tự nhau, nhưng mong đợi tám chữ số hex, không phải bốn:

mystr='''this
is a new line.'''

print(ascii(mystr))
5

Sử dụng trình tự thoát cho các điểm mã lớn hơn 127 là tốt với liều nhỏ, nhưng trở thành một khó khăn nếu bạn sử dụng nhiều ký tự có dấu, như bạn sẽ làm trong một chương trình có tin nhắn bằng tiếng Pháp hoặc một số ngôn ngữ sử dụng giọng nói khác. Bạn cũng có thể lắp ráp các chuỗi bằng hàm tích hợp

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...
0, nhưng điều này thậm chí còn tẻ nhạt hơn.

Lý tưởng nhất là bạn muốn có thể viết các chữ bằng ngôn ngữ của bạn. Sau đó, bạn có thể chỉnh sửa mã nguồn Python với trình soạn thảo yêu thích của bạn sẽ hiển thị các ký tự có dấu một cách tự nhiên và có các ký tự phù hợp được sử dụng trong thời gian chạy.

Python hỗ trợ viết mã nguồn trong UTF-8 theo mặc định, nhưng bạn có thể sử dụng hầu hết mọi mã hóa nếu bạn tuyên bố mã hóa được sử dụng. Điều này được thực hiện bằng cách bao gồm một nhận xét đặc biệt là dòng đầu tiên hoặc thứ hai của tệp nguồn:

mystr='''this
is a new line.'''

print(ascii(mystr))
6

Cú pháp được lấy cảm hứng từ ký hiệu Emacs, để chỉ định các biến cục bộ vào tệp. Emacs hỗ trợ nhiều biến khác nhau, nhưng Python chỉ hỗ trợ ‘mã hóa. Các biểu tượng

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
9 chỉ ra cho Emac rằng nhận xét là đặc biệt; Họ không có ý nghĩa đối với Python nhưng là một quy ước. Python tìm kiếm
try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
0 hoặc
try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
1 trong nhận xét.

Nếu bạn không bao gồm một nhận xét như vậy, mã hóa mặc định được sử dụng sẽ được UTF-8 như đã đề cập. Xem thêm PEP 263 để biết thêm thông tin.PEP 263 for more information.

Thuộc tính unicode

Thông số kỹ thuật Unicode bao gồm một cơ sở dữ liệu thông tin về các điểm mã. Đối với mỗi điểm mã được xác định, thông tin bao gồm tên ký tự, danh mục của nó, giá trị số nếu có (đối với các ký tự đại diện cho các khái niệm số như chữ số La Mã, các phân số như một phần ba và bốn phần năm, v.v.). Ngoài ra còn có các thuộc tính liên quan đến hiển thị, chẳng hạn như cách sử dụng điểm mã trong văn bản hai chiều.

Chương trình sau đây hiển thị một số thông tin về một số ký tự và in giá trị số của một ký tự cụ thể:

mystr='''this
is a new line.'''

print(ascii(mystr))
7

Khi chạy, bản in này:

mystr='''this
is a new line.'''

print(ascii(mystr))
8

Các mã danh mục là chữ viết tắt mô tả bản chất của nhân vật. Chúng được nhóm thành các danh mục như chữ cái, chữ số, số lượng, số lần, dấu chấm câu, hoặc biểu tượng của người Hồi giáo, từ đó được chia thành các tiểu thể loại. Để lấy các mã từ đầu ra ở trên,

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
2 có nghĩa là ‘chữ cái, chữ thường,
try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
3 có nghĩa là số, số khác,
try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
4 là Mark Mark, không định vị, và
try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
5 là biểu tượng, khác. Xem phần Giá trị danh mục chung của tài liệu cơ sở dữ liệu ký tự Unicode để biết danh sách các mã danh mục.

So sánh chuỗi

Unicode thêm một số biến chứng để so sánh các chuỗi, bởi vì cùng một tập hợp các ký tự có thể được biểu diễn bằng các chuỗi điểm mã khác nhau. Ví dụ: một chữ cái như 'Ê' có thể được biểu diễn dưới dạng một điểm mã U+00EA hoặc dưới dạng U+0065 U+0302, là điểm mã cho 'e' theo sau là điểm mã để 'kết hợp âm thanh chu vi' . Chúng sẽ tạo ra cùng một đầu ra khi được in, nhưng một là một chuỗi có độ dài 1 và một chuỗi còn lại có độ dài 2.

Một công cụ để so sánh không nhạy cảm trường hợp là phương thức chuỗi

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
6 chuyển đổi chuỗi thành dạng không nhạy cảm trường hợp theo thuật toán được mô tả bởi tiêu chuẩn Unicode. Thuật toán này có xử lý đặc biệt cho các ký tự như chữ cái tiếng Đức ‘ß, (điểm mã U+00DF), trở thành cặp chữ thường‘ ss.

mystr='''this
is a new line.'''

print(ascii(mystr))
9

Một công cụ thứ hai là hàm

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
7 ____ ____998 chuyển đổi chuỗi thành một trong một số dạng thông thường, trong đó các chữ cái theo sau là một ký tự kết hợp được thay thế bằng các ký tự đơn.
try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
8 có thể được sử dụng để thực hiện các so sánh chuỗi giành được sự bất bình đẳng báo cáo sai nếu hai chuỗi sử dụng kết hợp các ký tự khác nhau:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
0

Khi chạy, điều này xuất bản:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
1

Đối số đầu tiên cho hàm

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
8 là một chuỗi đưa ra biểu mẫu chuẩn hóa mong muốn, có thể là một trong những ‘NFC,‘ NFKC, ‘NFD, và‘ NFKD.

Tiêu chuẩn Unicode cũng chỉ định cách so sánh Casless:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
2

Điều này sẽ in

mystr='''this
is a new line.'''

print(ascii(mystr))
01. .

Unicode biểu thức chính quy

Các biểu thức thông thường được hỗ trợ bởi mô -đun

mystr='''this
is a new line.'''

print(ascii(mystr))
04 có thể được cung cấp dưới dạng byte hoặc chuỗi. Một số chuỗi ký tự đặc biệt như
mystr='''this
is a new line.'''

print(ascii(mystr))
05 và
mystr='''this
is a new line.'''

print(ascii(mystr))
06 có ý nghĩa khác nhau tùy thuộc vào việc mẫu được cung cấp là byte hay chuỗi. Ví dụ:
mystr='''this
is a new line.'''

print(ascii(mystr))
05 sẽ khớp với các ký tự
mystr='''this
is a new line.'''

print(ascii(mystr))
08 trong byte nhưng trong các chuỗi sẽ phù hợp với bất kỳ ký tự nào mà trong danh mục
mystr='''this
is a new line.'''

print(ascii(mystr))
09.

Chuỗi trong ví dụ này có số 57 được viết bằng cả chữ số Thái Lan và tiếng Ả Rập:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
3

Khi được thực hiện,

mystr='''this
is a new line.'''

print(ascii(mystr))
10 sẽ khớp với các chữ số Thái Lan và in chúng ra. Nếu bạn cung cấp cờ
mystr='''this
is a new line.'''

print(ascii(mystr))
11 cho
mystr='''this
is a new line.'''

print(ascii(mystr))
12, thay vào đó,
mystr='''this
is a new line.'''

print(ascii(mystr))
10 sẽ phù hợp với bộ con 57 57.

Tương tự,

mystr='''this
is a new line.'''

print(ascii(mystr))
06 phù hợp với nhiều ký tự Unicode nhưng chỉ
mystr='''this
is a new line.'''

print(ascii(mystr))
15 trong byte hoặc nếu
mystr='''this
is a new line.'''

print(ascii(mystr))
11 được cung cấp và
mystr='''this
is a new line.'''

print(ascii(mystr))
17 sẽ khớp với các ký tự Whitespace Unicode hoặc
mystr='''this
is a new line.'''

print(ascii(mystr))
18.

Người giới thiệu¶

Một số cuộc thảo luận thay thế tốt về hỗ trợ unicode của Python là:

  • Xử lý các tệp văn bản trong Python 3, bởi Nick Coghlan.

  • Unicode thực dụng, một bài thuyết trình PYCON 2012 của Ned Batchelder.

Loại

['pyth\xd8n', 'C++', 'Go']
3 được mô tả trong tham chiếu thư viện Python ở loại chuỗi văn bản - str.Text Sequence Type — str.

Tài liệu cho mô -đun

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")
7.

Tài liệu cho mô -đun

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
4.

Marc-André Lemburg đã trình bày có tựa đề là Py Python và Unicode, (slide PDF) tại Europython 2002. Các slide là một tổng quan tuyệt vời về thiết kế của các tính năng Unicode của Python 2 (trong đó loại chuỗi Unicode được gọi .

Đọc và viết dữ liệu Unicode

Khi bạn đã viết một số mã hoạt động với dữ liệu Unicode, vấn đề tiếp theo là đầu vào/đầu ra. Làm thế nào để bạn có được chuỗi Unicode vào chương trình của bạn và làm thế nào để bạn chuyển đổi Unicode thành một hình thức phù hợp để lưu trữ hoặc truyền?

Nó có thể là bạn có thể không cần phải làm bất cứ điều gì tùy thuộc vào nguồn đầu vào và điểm đến đầu ra của bạn; Bạn nên kiểm tra xem các thư viện được sử dụng trong ứng dụng của bạn hỗ trợ Unicode tự nhiên. Trình phân tích cú pháp XML thường trả về dữ liệu Unicode chẳng hạn. Nhiều cơ sở dữ liệu quan hệ cũng hỗ trợ các cột có giá trị Unicode và có thể trả về các giá trị Unicode từ truy vấn SQL.

Dữ liệu Unicode thường được chuyển đổi thành một mã hóa cụ thể trước khi nó được ghi vào đĩa hoặc gửi qua ổ cắm. Nó có thể tự mình thực hiện tất cả các công việc: mở một tệp, đọc một đối tượng byte 8 bit từ nó và chuyển đổi byte bằng

mystr='''this
is a new line.'''

print(ascii(mystr))
24. Tuy nhiên, phương pháp thủ công không được khuyến khích.

Một vấn đề là bản chất đa byte của mã hóa; Một ký tự Unicode có thể được biểu diễn bằng một số byte. Nếu bạn muốn đọc tệp bằng các khối có kích thước tùy ý (giả sử, 1024 hoặc 4096 byte), bạn cần viết mã xử lý lỗi để bắt trường hợp chỉ có một phần của byte mã hóa một ký tự unicode duy nhất được đọc ở cuối một khối. Một giải pháp sẽ là đọc toàn bộ tệp vào bộ nhớ và sau đó thực hiện giải mã, nhưng điều đó ngăn bạn làm việc với các tệp cực kỳ lớn; Nếu bạn cần đọc tệp 2 Gib, bạn cần 2 GIB RAM. (Thêm, thực sự, vì trong ít nhất một khoảnh khắc bạn cần phải có cả chuỗi được mã hóa và phiên bản Unicode của nó trong bộ nhớ.)

Giải pháp sẽ là sử dụng giao diện giải mã cấp thấp để bắt gặp trường hợp của các chuỗi mã hóa một phần. Công việc thực hiện điều này đã được thực hiện cho bạn: hàm

mystr='''this
is a new line.'''

print(ascii(mystr))
25 tích hợp có thể trả về một đối tượng giống như tệp giả định nội dung tệp trong một mã hóa được chỉ định và chấp nhận các tham số Unicode cho các phương thức như
mystr='''this
is a new line.'''

print(ascii(mystr))
26 và
mystr='''this
is a new line.'''

print(ascii(mystr))
27. Điều này hoạt động thông qua các tham số mã hóa và lỗi của ____ 125 được giải thích giống như trong
0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...
3 và
0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...
2.

Do đó, đọc Unicode từ một tệp rất đơn giản:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
4

Nó cũng có thể mở các tệp ở chế độ cập nhật, cho phép cả đọc và viết:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
5

Ký tự Unicode

mystr='''this
is a new line.'''

print(ascii(mystr))
31 được sử dụng làm nhãn hiệu thứ tự byte (BOM) và thường được viết là ký tự đầu tiên của một tệp để hỗ trợ tự động phát hiện đơn đặt hàng byte. Một số mã hóa, chẳng hạn như UTF-16, mong đợi một BOM sẽ có mặt khi bắt đầu một tập tin; Khi một mã hóa như vậy được sử dụng, BOM sẽ tự động được viết dưới dạng ký tự đầu tiên và sẽ được giảm âm thầm khi đọc tệp. Có các biến thể của các mã hóa này, chẳng hạn như ‘UTF-16-LE, và‘ UTF-16-BE cho các mã hóa Little-Endian và Big-Endian, chỉ định một thứ tự byte cụ thể và don don bỏ qua BOM.

Ở một số khu vực, cũng là quy ước để sử dụng một BOM BOM khi bắt đầu các tệp được mã hóa UTF-8; Tên này là sai lệch vì UTF-8 không phụ thuộc vào thứ tự byte. Dấu chỉ đơn giản là thông báo rằng tệp được mã hóa trong UTF-8. Để đọc các tệp như vậy, hãy sử dụng codec ‘UTF-8-SIG để tự động bỏ qua dấu nếu có.

Tên tệp Unicode

Hầu hết các hệ điều hành được sử dụng phổ biến ngày nay hỗ trợ các tên tệp có chứa các ký tự Unicode tùy ý. Thông thường điều này được thực hiện bằng cách chuyển đổi chuỗi unicode thành một số mã hóa khác nhau tùy thuộc vào hệ thống. Ngày nay, Python đang hội tụ sử dụng UTF-8: Python trên MacOS đã sử dụng UTF-8 cho một số phiên bản và Python 3.6 đã chuyển sang sử dụng UTF-8 trên Windows. Trên các hệ thống Unix, sẽ chỉ có mã hóa hệ thống tập tin. Nếu bạn đã đặt các biến môi trường

mystr='''this
is a new line.'''

print(ascii(mystr))
32 hoặc
mystr='''this
is a new line.'''

print(ascii(mystr))
33; Nếu bạn thiên đường, mã hóa mặc định lại là UTF-8.filesystem encoding. if you’ve set the
mystr='''this
is a new line.'''

print(ascii(mystr))
32 or
mystr='''this
is a new line.'''

print(ascii(mystr))
33 environment variables; if you haven’t, the default encoding is again UTF-8.

Hàm

mystr='''this
is a new line.'''

print(ascii(mystr))
34 trả về mã hóa để sử dụng trên hệ thống hiện tại của bạn, trong trường hợp bạn muốn thực hiện mã hóa thủ công, nhưng ở đó không có nhiều lý do để bận tâm. Khi mở tệp để đọc hoặc viết, bạn thường chỉ có thể cung cấp chuỗi Unicode dưới dạng tên tệp và nó sẽ được tự động chuyển đổi sang mã hóa phù hợp với bạn:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
6

Các chức năng trong mô -đun

mystr='''this
is a new line.'''

print(ascii(mystr))
35, chẳng hạn như
mystr='''this
is a new line.'''

print(ascii(mystr))
36 cũng sẽ chấp nhận tên tệp unicode.

Hàm

mystr='''this
is a new line.'''

print(ascii(mystr))
37 trả về tên tệp, làm tăng sự cố: nó có nên trả về phiên bản unicode của tên tệp hay nó nên trả về byte chứa các phiên bản được mã hóa?
mystr='''this
is a new line.'''

print(ascii(mystr))
37 có thể làm cả hai, tùy thuộc vào việc bạn cung cấp đường dẫn thư mục là byte hay chuỗi unicode. Nếu bạn vượt qua chuỗi Unicode làm đường dẫn, tên tệp sẽ được giải mã bằng cách sử dụng mã hóa hệ thống tập tin và danh sách các chuỗi Unicode sẽ được trả về, trong khi đi qua đường dẫn byte sẽ trả về các tên tệp dưới dạng byte. Ví dụ: giả sử mã hóa hệ thống tập tin mặc định là UTF-8, chạy chương trình sau:filesystem encoding is UTF-8, running the following program:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
7

sẽ tạo ra đầu ra sau:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
8

Danh sách đầu tiên chứa các tên tệp được mã hóa UTF-8 và danh sách thứ hai chứa các phiên bản Unicode.

Lưu ý rằng trong hầu hết các trường hợp, bạn nên chỉ có thể sử dụng Unicode với các API này. Các API byte chỉ nên được sử dụng trên các hệ thống nơi có thể có tên tệp không thể mã hóa; Đó là khá nhiều hệ thống UNIX bây giờ.

Mẹo để viết các chương trình nhận biết Unicode

Phần này cung cấp một số gợi ý về việc viết phần mềm liên quan đến Unicode.

Mẹo quan trọng nhất là:

Phần mềm chỉ nên hoạt động với các chuỗi Unicode bên trong, giải mã dữ liệu đầu vào càng sớm càng tốt và mã hóa đầu ra ở cuối.

Nếu bạn cố gắng viết các chức năng xử lý chấp nhận cả chuỗi unicode và byte, bạn sẽ thấy chương trình của mình dễ bị lỗi ở bất cứ nơi nào bạn kết hợp hai loại chuỗi khác nhau. Không có mã hóa hoặc giải mã tự động: Nếu bạn làm, ví dụ:

mystr='''this
is a new line.'''

print(ascii(mystr))
39, A
mystr='''this
is a new line.'''

print(ascii(mystr))
40 sẽ được nâng lên.

Khi sử dụng dữ liệu đến từ trình duyệt web hoặc một số nguồn không đáng tin cậy khác, một kỹ thuật phổ biến là kiểm tra các ký tự bất hợp pháp trong một chuỗi trước khi sử dụng chuỗi trong một dòng lệnh được tạo hoặc lưu trữ nó trong cơ sở dữ liệu. Nếu bạn làm điều này, hãy cẩn thận để kiểm tra chuỗi được giải mã, không phải là dữ liệu byte được mã hóa; Một số mã hóa có thể có các thuộc tính thú vị, chẳng hạn như không tương thích hoàn toàn hoặc không tương thích với ASCII. Điều này đặc biệt đúng nếu dữ liệu đầu vào cũng chỉ định mã hóa, vì kẻ tấn công sau đó có thể chọn một cách thông minh để ẩn văn bản độc hại trong byteStream được mã hóa.

Chuyển đổi giữa mã hóa tệp

Lớp

mystr='''this
is a new line.'''

print(ascii(mystr))
41 có thể chuyển đổi một cách minh bạch giữa các mã hóa, lấy một luồng trả về dữ liệu trong mã hóa số 1 và hoạt động như một luồng trả về dữ liệu trong mã hóa #2.

Ví dụ: nếu bạn có một tệp đầu vào f mà Latin-1, bạn có thể kết thúc nó bằng

mystr='''this
is a new line.'''

print(ascii(mystr))
41 để trả về byte được mã hóa trong UTF-8:

NormalText = "A string in python."
SpecialText = "A string in pythØn."

print(ascii(NormalText))
print(ascii(SpecialText))
9

Các tệp trong một mã hóa không xác định

Bạn có thể làm gì nếu bạn cần thực hiện thay đổi cho một tệp, nhưng không biết mã hóa tệp? Nếu bạn biết mã hóa tương thích ASCII và chỉ muốn kiểm tra hoặc sửa đổi các phần ASCII, bạn có thể mở tệp bằng trình xử lý lỗi

mystr='''this
is a new line.'''

print(ascii(mystr))
43:

'A string in python.'
'A string in pyth\xd8n.'
0

Trình xử lý lỗi

mystr='''this
is a new line.'''

print(ascii(mystr))
43 sẽ giải mã bất kỳ byte không ASCII nào dưới dạng các điểm mã trong một phạm vi đặc biệt chạy từ U+DC80 đến U+DCFF. Các điểm mã này sau đó sẽ quay lại thành cùng một byte khi trình xử lý lỗi
mystr='''this
is a new line.'''

print(ascii(mystr))
43 được sử dụng để mã hóa dữ liệu và ghi lại.

Người giới thiệu¶

Một phần của việc làm chủ Python 3 đầu vào/đầu ra, một cuộc nói chuyện PYCON 2010 của David Beazley, thảo luận về xử lý văn bản và xử lý dữ liệu nhị phân.

Các slide PDF cho bài thuyết trình của Marc-André Lemburg, Viết các ứng dụng nhận biết Unicode trong Python, thảo luận về các câu hỏi về mã hóa nhân vật cũng như cách quốc tế hóa và bản địa hóa một ứng dụng. Các slide này chỉ bao gồm Python 2.x.

Guts of Unicode trong Python là một cuộc nói chuyện của Pycon 2013 của Benjamin Peterson, thảo luận về đại diện Unicode nội bộ trong Python 3.3.

Sự nhìn nhận¶

Bản thảo ban đầu của tài liệu này được viết bởi Andrew Kuchling. Nó đã được sửa đổi thêm bởi Alexander Belopolsky, Georg Brandl, Andrew Kuchling và Ezio Melotti.

Cảm ơn những người sau đây đã lưu ý các lỗi hoặc đưa ra đề xuất về bài viết này: , Eryk Sun, Chad Whitacre, Graham Wideman.

Làm thế nào để Python xử lý ASCII?

Để có được giá trị ASCII của char python, phương thức ord () được sử dụng.Nó được xây dựng trong thư viện các phương thức ký tự được cung cấp bởi Python.ASCII hoặc mã tiêu chuẩn Mỹ để trao đổi thông tin là giá trị số được trao cho các ký tự và ký hiệu khác nhau.the ord () method is used. It is in-built in the library of character methods provided by Python. ASCII or American Standard Code for Information Interchange is the numeric value that is given to different characters and symbols.

Python có sử dụng ASCII hay Unicode không?

Loại chuỗi của Python sử dụng tiêu chuẩn Unicode để biểu diễn các ký tự, cho phép các chương trình Python hoạt động với tất cả các ký tự có thể khác nhau này. for representing characters, which lets Python programs work with all these different possible characters.

Python có hỗ trợ UTF 16 không?

Python 3.3 không còn sử dụng UTF-16, thay vào đó, một mã hóa cho phép biểu diễn nhỏ gọn nhất cho chuỗi đã cho được chọn từ ASCII/Latin-1, UCS-2 và UTF-32.Java ban đầu đã sử dụng UCS-2 và thêm hỗ trợ ký tự bổ sung UTF-16 trong J2SE 5.0.JavaScript có thể sử dụng UCS-2 hoặc UTF-16., instead an encoding that gives the most compact representation for the given string is chosen from ASCII/Latin-1, UCS-2, and UTF-32. Java originally used UCS-2, and added UTF-16 supplementary character support in J2SE 5.0. JavaScript may use UCS-2 or UTF-16.