반응형
다음과 같이 result란 pyspark dataframe이 있다고할때.
날짜별로, Reason column을 pivot시켜서 사람수를 보고싶을때 다음과같이 코드를 사용해서 pivot을 진행할수있다
result\
.groupBy('date')\
.pivot('Reason')\
.agg(F.sum('count_user'))\
.orderBy('date')\
.show(100,False)
출력은 다음과같다
반응형
'Data > Data Analysis' 카테고리의 다른 글
[Pyspark] pyspark에서 percentile사용하기 (0) | 2020.12.10 |
---|---|
[Pyspark] pyspark 파일 저장 coalesce함수가 시간이 오래걸릴때 (0) | 2020.11.24 |
[Pyspark] groupBy 개수 중복제거 countDistinct (0) | 2020.11.12 |
[Pandas] apply, map, groupby등 모르는거 정리 (0) | 2020.11.04 |
[SQL] RANK(), ROW_NUMBER(), DENSE_RANK() (0) | 2020.08.05 |