Data/Data Analysis
[Pyspark] 비어있는 dataframe만들기
재융
2021. 1. 18. 17:00
반응형
pyspark로 작업하다보면 비어있는 dataframe이 필요할때 있는데 간단히 정리
schema = StructType([StructField("UserId", StringType(), True)])
spark.createDataFrame([], schema).createOrReplaceTempView('Info')
이런식으로 StructField('컬럼명', 컬럼 타입, True) 로 설정한다. 여러 column일 경우엔 StructType안의 list에 콤마 구분으로 StructField를 늘리면된다
반응형