반응형
pyspark에서는 기존에 split함수를 이용하여 다음과 같이 여러 delimiter가 있을때 작업하면된다.
import pyspark.sql.functions as F
temp = 'hi|you:what's"up'
F.split(temp, '\||:|"') => ['hi', 'you', 'what's', 'up']
하지만 snowflake에서는 위처럼 작동하지않는다. 별도로 strtok라는 함수를 사용하여 split해줘야한다.
temp = 'hi|you:what's"up'
strtok(temp, "\||:|"") => ['hi', 'you', 'what's', 'up']
요 몇일간 써보면서 느낀거지만, snowflake는 여러면에서 복잡한것같다...
반응형
'Data > Data Analysis' 카테고리의 다른 글
[MySQL] with recursive 구문 활용법 (1) | 2024.09.14 |
---|---|
[Pyspark] 'Detected implicit cartesian product for LEFT OUTER join between logical plans' 에러 해결방법 (0) | 2021.07.12 |
[Pyspark] pyspark Pipeline을 이용한 Data Normalizatioon (0) | 2021.04.20 |
[Pyspark] 차원축소 pyspark.ml.feature의 PCA 사용 (0) | 2021.04.09 |
[Pyspark] sparkSQL groupBy concat사용하기 (0) | 2021.02.24 |