본문 바로가기

collect_list

[Pyspark] sparkSQL groupBy concat사용하기
Data/Data Analysis 2021. 2. 24. [Pyspark] sparkSQL groupBy concat사용하기 하나의 row에서 문자열들을 모두 합치는건 concat함수를 사용하면 되긴하지만, 가끔 여러 row에서 문자열들을 합쳐야할때가 있다. 그럴때 다음과 같은 코드를 활용하면 된다 select time, Id, concat_ws('', collect_list(item)) as concat from welcome group by 1,2 collect_list와, concat_ws 함수를 활용하면 SQL의 GROUP_CONCAT함수 효과를 맛볼수(?)있다.
[SQL]collect_list 함수 사용
Data/Data Analysis 2019. 1. 7. [SQL]collect_list 함수 사용 *collect_list 함수란 한개의 id기준으로 여러가지 값을 가질때 값들을 배열 형식으로 묶어주는 함수이다[SparkSQL도 가능] 예를 들어서: table item_info라는 테이블이 다음과 같이 존재할 때 ID ITEM jaeyung 20 yoon 30 jaeyung 50 haeju 40 yoon 50 joowon 10 다음과 같은 명령어로 ID에 따른 아이템들을 배열로 묶을 수가 있다 명령어: SELECT ID, COLLECT_LIST(ITEM) AS ITEM_LIST FROM item_info GROUP BY ID IDITEM_LIST jaeyung [20, 50] yoon [30, 50] haeju [40] joowon [10] 위와 같은 테이블이 반환이 된다. p.s 순간 쓰려고하니 까..

티스토리툴바