Thay thế giá trị null trong json python

Trong PySpark DataFrame sử dụng when[]. other[] Các hàm SQL để tìm hiểu xem một cột có giá trị trống hay không và sử dụng phép biến đổi withColumn[] để thay thế giá trị của một cột hiện có. Trong bài viết này, tôi sẽ giải thích cách thay thế một giá trị trống bằng None/null trên một cột duy nhất, tất cả các cột đã chọn danh sách các cột của DataFrame bằng các ví dụ về Python

Ghi chú. Trong PySpark DataFrame giá trị None được hiển thị dưới dạng giá trị null

Có liên quan. Cách nhận Số lượng NULL, Giá trị chuỗi rỗng trong Khung dữ liệu PySpark

Hãy tạo một Khung dữ liệu PySpark với các giá trị trống trên một số hàng

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName['SparkByExamples.com'].getOrCreate[]
data = [["","CA"], ["Julia",""],["Robert",""],["","NJ"]]
df =spark.createDataFrame[data,["name","state"]]
df.show[]

#+------+-----+
#|  name|state|
#+------+-----+
#|      |   CA|
#| Julia|     |
#|Robert|     |
#|      |   NJ|
#+------+-----+

PySpark Thay thế giá trị rỗng bằng Không có

Để thay thế giá trị trống bằng None/null trên một cột DataFrame, bạn có thể sử dụng withColumn[] và when[]. nếu không[] chức năng

#Replace empty string with None value
from pyspark.sql.functions import col,when
df.withColumn["name", \
       when[col["name"]=="" ,None] \
          .otherwise[col["name"]]] \
  .show[]

#+------+-----+
#|  name|state|
#+------+-----+
#|  null|   CA|
#| Julia|     |
#|Robert|     |
#|  null|   NJ|
#+------+-----+

Thay thế giá trị trống bằng Không có trên tất cả các cột DataFrame

Để thay thế một giá trị trống bằng Không có/null trên tất cả các cột DataFrame, hãy sử dụng df.columns để nhận tất cả các cột DataFrame, lặp qua điều này bằng cách áp dụng các điều kiện

#Replace empty string with None for all columns
from pyspark.sql.functions import col,when
df2=df.select[[when[col[c]=="",None].otherwise[col[c]].alias[c] for c in df.columns]]
df2.show[]

#+------+-----+
#|  name|state|
#+------+-----+
#|  null|   CA|
#| Julia| null|
#|Robert| null|
#|  null|   NJ|
#+------+-----+

Thay thế Giá trị trống bằng Không có trên các cột đã chọn

Tương tự, bạn cũng có thể thay thế danh sách các cột đã chọn, chỉ định tất cả các cột bạn muốn thay thế trong danh sách và sử dụng danh sách này trên cùng một biểu thức ở trên

#Replace empty string with None on selected columns
from pyspark.sql.functions import col,when
replaceCols=["name","state"]
df2=df.select[[when[col[c]=="",None].otherwise[col[c]].alias[c] for c in replaceCols]]
df2.show[]

Hoàn thành ví dụ

Sau đây là một ví dụ hoàn chỉnh về việc thay thế giá trị trống bằng Không có

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName['SparkByExamples.com'].getOrCreate[]
data = [["","CA"], ["Julia",""],["Robert",""],["","NJ"]]
df =spark.createDataFrame[data,["name","state"]]
df.show[]

#Replace empty string with None
from pyspark.sql.functions import col,when
df.withColumn["name", \
       when[col["name"]=="" ,None] \
          .otherwise[col["name"]]] \
  .show[]
  
#Replace empty string with None for all columns
df2=df.select[[when[col[c]=="",None].otherwise[col[c]].alias[c] for c in df.columns]]
df2.show[]

#Replace empty string with None on selected columns
replaceCols=["name","state"]
df2=df.select[[when[col[c]=="",None].otherwise[col[c]].alias[c] for c in replaceCols]]
df2.show[]

Phần kết luận

Tóm lại, bạn đã học cách thay thế các giá trị chuỗi trống bằng Không/null trên các cột Khung dữ liệu PySpark đơn, tất cả và được chọn bằng cách sử dụng ví dụ về Python

Dữ liệu JSON có khái niệm về các mảng và đối tượng rỗng và rỗng. Phần này giải thích cách mỗi khái niệm này được ánh xạ tới các khái niệm đối tượng dữ liệu là null và unset

34	{				        Schema types
35	    "id":null,				[integer]
36	    "firstName": null,			[string]
37	    "address": null,			[Address complex type with maxOccurs = 1]
38	    "homeAddresses":null		[Address complex type with maxOccurs > 1]
39	    "phoneNumbers": null		[string with maxOccurs > 1]
40	}

41	{
42	    "address":{}
43	     "homeAddresses":[]
44	      "phoneNumbers":[]
45	}