[Pyspark] pyspark to_csv() ascii에러 문제 해결

pyspark dataframe을 csv파일로 저장할때 ascii에러가 다음과 같이 뜰때가 있는데

 

UnicodeEncodeError: 'ascii' codec can't encode character u'\ud575' in position 0: ordinal not in range(128)

 

이럴땐 to_csv에 encoding파라미터 값을 다음과 같이 추가해주면된다

 

.toPandas().to_csv({path}, encoding='utf_8_sig', index=False)