Python json null không được xác định

Tài liệu này mô tả cách tạo bảng có cột

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

Tổng quan

JSON là định dạng được sử dụng rộng rãi cho phép dữ liệu bán cấu trúc vì nó không yêu cầu lược đồ. Các ứng dụng có thể sử dụng phương pháp "lược đồ khi đọc", trong đó ứng dụng nhập dữ liệu và sau đó truy vấn dựa trên các giả định về lược đồ của dữ liệu đó. Cách tiếp cận này khác với loại

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

Bằng cách sử dụng loại dữ liệu

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

Hạn chế

• Nếu bạn sử dụng tác vụ tải hàng loạt để nhập dữ liệu

  SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;
  

  0 vào bảng, thì dữ liệu nguồn phải ở định dạng CSV, Avro hoặc JSON. Các định dạng tải hàng loạt khác không được hỗ trợ
• Kiểu dữ liệu

  SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;
  

  0 có giới hạn lồng nhau là 500
• Bạn không thể sử dụng SQL kế thừa để truy vấn một bảng có chứa các loại

  SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;
  

  0
• Không thể áp dụng chính sách truy cập cấp hàng trên các cột JSON

Để tìm hiểu về các thuộc tính của kiểu dữ liệu

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

Tạo bảng có cột JSON

Bạn có thể tạo một bảng trống có cột JSON bằng cách sử dụng SQL hoặc bằng cách sử dụng công cụ dòng lệnh

+--------------------------------+
| pt                             |
+--------------------------------+
| {"coordinates":[10,20],"id":1} |
+--------------------------------+

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

bq mk --table mydataset.table1 id:INT64,cart:JSON

Bạn không thể phân vùng hoặc nhóm một bảng trên các cột JSON, vì các toán tử so sánh và đẳng thức không được xác định trên loại

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

Tạo các giá trị JSON

Bạn có thể tạo các giá trị

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

• Sử dụng SQL để tạo một

  SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;
  

  0 chữ
• Sử dụng hàm để chuyển đổi một chuỗi thành kiểu

  SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;
  

  0
• Sử dụng hàm để chuyển đổi kiểu SQL thành kiểu

  SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;
  

  0

Tạo một chữ JSON

Ví dụ sau sử dụng câu lệnh DML để chèn một ký tự

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

INSERT INTO mydataset.table1
VALUES(1, JSON '{"name": "Alice", "age": 30}');

Chuyển đổi một chuỗi thành JSON

Ví dụ sau chuyển đổi dữ liệu JSON được lưu trữ dưới dạng chuỗi thành loại

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

CREATE OR REPLACE TABLE mydataset.table_new
AS (
  SELECT
    id, SAFE.PARSE_JSON(cart) AS cart_json
  FROM
    mydataset.old_table
);

Việc sử dụng trong ví dụ này đảm bảo rằng mọi lỗi chuyển đổi đều được trả về dưới dạng giá trị

1,20
2,"""This is a string"""
3,"{""id"": 10, ""name"": ""Alice""}"

Chuyển đổi một loại SQL thành JSON

Ví dụ sau đây chuyển đổi một giá trị SQL

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

Kết quả là như sau

+--------------------------------+
| pt                             |
+--------------------------------+
| {"coordinates":[10,20],"id":1} |
+--------------------------------+

Nhập dữ liệu JSON

Bạn có thể nhập dữ liệu

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

• Sử dụng công việc tải hàng loạt để tải vào các cột

  SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;
  

  0 từ các định dạng sau
  • CSV
• Sử dụng API ghi bộ lưu trữ BigQuery
• Sử dụng API phát trực tuyến

  bq load --source_format=CSV mydataset.table1 file1.csv id:INTEGER,json_data:JSON
  
  bq show mydataset.table1
  
  Last modified          Schema         Total Rows   Total Bytes
  ----------------- -------------------- ------------ -------------
   22 Dec 22:10:32   |- id: integer       3            63
                     |- json_data: json
  

  3 kế thừa

Tải từ tệp CSV

Ví dụ sau giả định rằng bạn có một tệp CSV có tên

bq load --source_format=CSV mydataset.table1 file1.csv id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

1,20
2,"""This is a string"""
3,"{""id"": 10, ""name"": ""Alice""}"

Lưu ý rằng cột thứ hai chứa dữ liệu JSON được mã hóa dưới dạng chuỗi. Điều này liên quan đến việc thoát chính xác các trích dẫn cho định dạng CSV. Ở định dạng CSV, dấu ngoặc kép được thoát ra bằng cách sử dụng chuỗi hai ký tự

bq load --source_format=CSV mydataset.table1 file1.csv id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

Để tải tệp này bằng công cụ dòng lệnh

+--------------------------------+
| pt                             |
+--------------------------------+
| {"coordinates":[10,20],"id":1} |
+--------------------------------+

bq load --source_format=CSV mydataset.table1 file1.csv id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

Tải từ các tệp JSON được phân tách bằng dòng mới

Ví dụ sau giả định rằng bạn có một tệp tên là

bq load --source_format=CSV mydataset.table1 file1.csv id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

{"id": 1, "json_data": 20}
{"id": 2, "json_data": "This is a string"}
{"id": 3, "json_data": {"id": 10, "name": "Alice"}}

Để tải tệp này bằng công cụ dòng lệnh

+--------------------------------+
| pt                             |
+--------------------------------+
| {"coordinates":[10,20],"id":1} |
+--------------------------------+

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

Sử dụng API ghi lưu trữ

Bạn có thể sử dụng API ghi lưu trữ để nhập dữ liệu JSON. Ví dụ sau sử dụng API ghi lưu trữ

Xác định bộ đệm giao thức để giữ dữ liệu phát trực tuyến được tuần tự hóa. Dữ liệu JSON được mã hóa dưới dạng chuỗi. Trong ví dụ sau, trường

{"id": 1, "json_data": 20}
{"id": 2, "json_data": "This is a string"}
{"id": 3, "json_data": {"id": 10, "name": "Alice"}}

bq mk --table mydataset.table1 id:INT64,cart:JSON

Định dạng dữ liệu JSON cho mỗi hàng dưới dạng giá trị chuỗi

bq mk --table mydataset.table1 id:INT64,cart:JSON

Nối các hàng vào luồng ghi như được hiển thị trong. Thư viện máy khách xử lý tuần tự hóa thành định dạng bộ đệm giao thức

Sử dụng API phát trực tuyến cũ

Ví dụ sau tải dữ liệu JSON từ một tệp cục bộ và truyền dữ liệu đó tới BigQuery bằng cách sử dụng API truyền trực tuyến cũ

bq mk --table mydataset.table1 id:INT64,cart:JSON

Để biết thêm thông tin, xem

Truy vấn dữ liệu JSON

Phần này mô tả cách sử dụng Google Standard SQL để trích xuất các giá trị từ JSON. JSON phân biệt chữ hoa chữ thường và hỗ trợ UTF-8 trong cả trường và giá trị

Các ví dụ trong phần này sử dụng bảng sau

bq mk --table mydataset.table1 id:INT64,cart:JSON

Trích xuất các giá trị dưới dạng JSON

Với loại

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

{"id": 1, "json_data": 20}
{"id": 2, "json_data": "This is a string"}
{"id": 3, "json_data": {"id": 10, "name": "Alice"}}

{"id": 1, "json_data": 20}
{"id": 2, "json_data": "This is a string"}
{"id": 3, "json_data": {"id": 10, "name": "Alice"}}

bq mk --table mydataset.table1 id:INT64,cart:JSON

bq mk --table mydataset.table1 id:INT64,cart:JSON

Để truy cập một phần tử mảng, sử dụng. Ví dụ sau trả về phần tử đầu tiên của mảng

{"id": 1, "json_data": 20}
{"id": 2, "json_data": "This is a string"}
{"id": 3, "json_data": {"id": 10, "name": "Alice"}}

bq mk --table mydataset.table1 id:INT64,cart:JSON

Bạn cũng có thể sử dụng toán tử chỉ số con JSON để tham chiếu các thành viên của đối tượng JSON theo tên

bq mk --table mydataset.table1 id:INT64,cart:JSON

bq mk --table mydataset.table1 id:INT64,cart:JSON

Đối với các phép toán chỉ số, biểu thức bên trong dấu ngoặc có thể là bất kỳ biểu thức chuỗi hoặc số nguyên tùy ý nào, kể cả các biểu thức không phải là hằng số

INSERT INTO mydataset.table1
VALUES(1, JSON '{"name": "Alice", "age": 30}');

Các toán tử truy cập trường và chỉ số dưới đều trả về các loại

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

Các toán tử này là đường cú pháp cho hàm. Ví dụ: biểu thức

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

Nếu không tìm thấy phần tử có tên đã chỉ định trong đối tượng JSON hoặc nếu mảng JSON không có phần tử với vị trí đã chỉ định, thì các toán tử này sẽ trả về SQL

1,20
2,"""This is a string"""
3,"{""id"": 10, ""name"": ""Alice""}"

INSERT INTO mydataset.table1
VALUES(1, JSON '{"name": "Alice", "age": 30}');

Các toán tử đẳng thức và so sánh không được định nghĩa trên kiểu dữ liệu

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

Trích xuất các giá trị dưới dạng chuỗi

Hàm trích xuất một giá trị vô hướng và trả về nó dưới dạng chuỗi SQL. Nó trả về SQL

1,20
2,"""This is a string"""
3,"{""id"": 10, ""name"": ""Alice""}"

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

INSERT INTO mydataset.table1
VALUES(1, JSON '{"name": "Alice", "age": 30}');

INSERT INTO mydataset.table1
VALUES(1, JSON '{"name": "Alice", "age": 30}');

Bạn có thể sử dụng hàm

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

bq mk --table mydataset.table1 id:INT64,cart:JSON

bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON

bq show mydataset.table1

Last modified          Schema         Total Rows   Total Bytes
----------------- -------------------- ------------ -------------
 22 Dec 22:10:32   |- id: integer       3            63
                   |- json_data: json

bq mk --table mydataset.table1 id:INT64,cart:JSON

INSERT INTO mydataset.table1
VALUES(1, JSON '{"name": "Alice", "age": 30}');

Ngoài ra, bạn có thể sử dụng hàm trích xuất một chuỗi JSON và trả về giá trị đó dưới dạng SQL

bq mk --table mydataset.table1 id:INT64,cart:JSON

INSERT INTO mydataset.table1
VALUES(1, JSON '{"name": "Alice", "age": 30}');

INSERT INTO mydataset.table1
VALUES(1, JSON '{"name": "Alice", "age": 30}');

Ngoài , bạn có thể phải trích xuất các giá trị JSON và trả lại chúng dưới dạng một kiểu dữ liệu SQL khác. Các hàm trích xuất giá trị sau đây khả dụng

Để có được loại giá trị JSON, bạn có thể sử dụng hàm

Trích xuất các mảng từ JSON

JSON có thể chứa các mảng JSON, không tương đương trực tiếp với loại

bq mk --table mydataset.table1 id:INT64,cart:JSON

bq mk --table mydataset.table1 id:INT64,cart:JSON

• trích xuất một mảng và trả về nó dưới dạng

  bq mk --table mydataset.table1 id:INT64,cart:JSON
  

  12 của JSON
• trích xuất một mảng các giá trị vô hướng và trả về nó dưới dạng

  bq mk --table mydataset.table1 id:INT64,cart:JSON
  

  17 giá trị vô hướng

Ví dụ sau sử dụng

bq mk --table mydataset.table1 id:INT64,cart:JSON

CREATE OR REPLACE TABLE mydataset.table_new
AS (
  SELECT
    id, SAFE.PARSE_JSON(cart) AS cart_json
  FROM
    mydataset.old_table
);

Để tách một mảng thành các phần tử riêng lẻ, hãy sử dụng toán tử trả về một bảng có một hàng cho mỗi phần tử trong mảng. Ví dụ sau chọn phần tử

bq mk --table mydataset.table1 id:INT64,cart:JSON

{"id": 1, "json_data": 20}
{"id": 2, "json_data": "This is a string"}
{"id": 3, "json_data": {"id": 10, "name": "Alice"}}

CREATE OR REPLACE TABLE mydataset.table_new
AS (
  SELECT
    id, SAFE.PARSE_JSON(cart) AS cart_json
  FROM
    mydataset.old_table
);

Ví dụ tiếp theo tương tự nhưng sử dụng hàm để tổng hợp các giá trị lại thành một mảng SQL

CREATE OR REPLACE TABLE mydataset.table_new
AS (
  SELECT
    id, SAFE.PARSE_JSON(cart) AS cart_json
  FROM
    mydataset.old_table
);

CREATE OR REPLACE TABLE mydataset.table_new
AS (
  SELECT
    id, SAFE.PARSE_JSON(cart) AS cart_json
  FROM
    mydataset.old_table
);

Để biết thêm thông tin về mảng, hãy xem Làm việc với mảng trong Google Standard SQL

JSON null

Kiểu

SELECT TO_JSON(STRUCT(1 AS id, [10,20] AS coordinates)) AS pt;

bq mk --table mydataset.table1 id:INT64,cart:JSON

1,20
2,"""This is a string"""
3,"{""id"": 10, ""name"": ""Alice""}"

bq mk --table mydataset.table1 id:INT64,cart:JSON

1,20
2,"""This is a string"""
3,"{""id"": 10, ""name"": ""Alice""}"

CREATE OR REPLACE TABLE mydataset.table_new
AS (
  SELECT
    id, SAFE.PARSE_JSON(cart) AS cart_json
  FROM
    mydataset.old_table
);

Khi bạn trích xuất một trường JSON có giá trị

bq mk --table mydataset.table1 id:INT64,cart:JSON

• Hàm

  {"id": 1, "json_data": 20}
  {"id": 2, "json_data": "This is a string"}
  {"id": 3, "json_data": {"id": 10, "name": "Alice"}}
  

  9 trả về JSON

  bq mk --table mydataset.table1 id:INT64,cart:JSON
  

  24, vì đó là một giá trị JSON hợp lệ
• Hàm

  bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.table1 file1.jsonl id:INTEGER,json_data:JSON
  
  bq show mydataset.table1
  
  Last modified          Schema         Total Rows   Total Bytes
  ----------------- -------------------- ------------ -------------
   22 Dec 22:10:32   |- id: integer       3            63
                     |- json_data: json
  

  6 trả về SQL

  1,20
  2,"""This is a string"""
  3,"{""id"": 10, ""name"": ""Alice""}"
  

  7, vì JSON

  bq mk --table mydataset.table1 id:INT64,cart:JSON
  

  24 không phải là giá trị vô hướng

Ví dụ sau đây cho thấy các hành vi khác nhau

CREATE OR REPLACE TABLE mydataset.table_new
AS (
  SELECT
    id, SAFE.PARSE_JSON(cart) AS cart_json
  FROM
    mydataset.old_table
);

CREATE OR REPLACE TABLE mydataset.table_new
AS (
  SELECT
    id, SAFE.PARSE_JSON(cart) AS cart_json
  FROM
    mydataset.old_table
);

bq mk --table mydataset.table1 id:INT64,cart:JSON

bq mk --table mydataset.table1 id:INT64,cart:JSON

{"id": 1, "json_data": 20}
{"id": 2, "json_data": "This is a string"}
{"id": 3, "json_data": {"id": 10, "name": "Alice"}}

1,20
2,"""This is a string"""
3,"{""id"": 10, ""name"": ""Alice""}"

bq mk --table mydataset.table1 id:INT64,cart:JSON

Làm cách nào để chuyển null trong Python JSON?

Là null trong JSON không có trong Python?

Python có chuyển đổi null thành không không?

JSON có hỗ trợ không?