본문 바로가기

join

[Pyspark] dataframe join 문
Data/Data Analysis 2019. 9. 16. [Pyspark] dataframe join 문 pyspark dataframe을 처리할때 join문을 많이 쓰이게 되는데 항상 sql 문으로 변환하고 join문을 쓰기에는 너무 불필요한 과정이 많아서 pyspark로 한번 join을 해보자 먼저 예제를 보면 ta = TableA.alias('ta') tb = TableB.alias('tb') 이렇게 두개의 테이블을 선언하고 inner_join = ta.join(tb, ta.name == tb.name) inner_join.show() join함수를 사용하여 두 dataframe을 합체시키는데 실제로는 매 테이블을 일일히 다 따로 선언하고 join시키기엔 귀찮다 (그렇다 난 귀차니즘이다) 그래서 혹시나해서 바로 join할수있나 살펴 보았는데 저렇게 하나씩 선언할필요없이 바로 join이 가능했다 위에 껄..
[SQL] UNION, JOIN명령어
Data/Data Analysis 2018. 12. 18. [SQL] UNION, JOIN명령어 명령어: JOIN SQL에서 JOIN은 이제 두개의 SELECT명령어에서 나온 결과를 어떤 하나의 column의 기준으로 합쳐주는 명령어 JOIN은 단독적으로 사용할 수도 있지만LEFT, RIGHT, INNER 라는 명령어로 기준 테이블을 정할수가 있다 예를 들어: [출저] 두개의 테이블이 있을때demo_people name phone pid Mr.Brown 01225-708225 1 Miss.Smith 01225-899360 2 Mr.Pullen 01380-724040 3 demo_property pid spid selling 1 1 Old House Farm 3 2 The Willows 3 3 Tall Trees 3 4 The Melksham Florist 4 5 Dun Roamin Left 혹은 r..

티스토리툴바