반응형
테이블에 NULL값을 처리할때 이전에는 다음과 같은 코드를 사용해서 처리했다
1 2 3 4 | temp = spark.sql(""" SELECT *, CASE WHEN column_1 IS NULL THEN 0 ELSE column_1 END AS haha FROM temp_table """) |
하지만 Coalesce함수를 사용하면 다음과 같이 코드가 짧아지게 된다
1 2 3 4 | temp = spark.sql(""" SELECT *, Coalesce(column_1, 0) AS haha FROM temp_table """) |
반응형
'Data > Data Science' 카테고리의 다른 글
[Pyspark] dataframe에 default값이 들어가는 column생성 (0) | 2019.02.18 |
---|---|
[Pyspark] Pyspark dataframe isin 과 is not in 방법 (0) | 2019.02.18 |
[Pytorch] CrossEntropy, BCELoss 함수사용시 주의할점 (0) | 2018.11.07 |
[Pytorch] MNIST CNN 코드 작성 & 공부 (0) | 2018.10.08 |
[Pytorch] MNIST DNN 코드 작성 & 공부 (0) | 2018.10.04 |