반응형
Sometimes we have to change pandas.dataframe to pyspark.dataframe
there one solution exist
1 2 3 4 5 | from pyspark.sql import SQLContext temp_csv = pd.read_csv("./tmep.csv") temp_pyspark = sqlContext.createDataFrame(temp_csv) |
20200304
가끔 위 방법이 안될때가 있어서 새로운 방법 추가
1 2 3 4 5 | temp_csv = pd.read_csv("./tmep.csv") temp_pyspark = spark.createDataFrame(temp_csv) |
반응형
'TIL > 잡다한' 카테고리의 다른 글
| [git error] xcorn error 해결방법 (0) | 2019.12.22 |
|---|---|
| [Network] 용어정리 (0) | 2019.10.24 |
| [IP 조회] 무료 IP 조회 사이트 (0) | 2018.12.11 |
| [Pytorch] 김성훈 교수님 github코드 ipynb으로 작성 및 공부 (0) | 2018.09.20 |
| [오류]_DistInfoDistribution__dep_map 에러, 쥬피터설치 오류 (0) | 2018.09.18 |
