본문 바로가기

Python

[Seaborn] seaborn line plotting tutorial
Data/Data Visualization 2019. 12. 22. [Seaborn] seaborn line plotting tutorial In [2]: import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns sns.set(style="darkgrid") relplot 기본설정은 scatter, 라인형식으로 바꾸려면 kind변수를 line으로 설정¶ In [3]: df = pd.DataFrame(dict(time=np.arange(500), value = np.random.randn(500).cumsum())) g = sns.relplot(x='time', y='value', kind='line', data=df) g.fig.autofmt_xdate() 일반적으로 x축을기반으로 순차적으로 라인그래프가 그려지는데 이는 sort 변수를..
[Seaborn] seaborn 라이브러리 연습
Data/Data Visualization 2019. 12. 22. [Seaborn] seaborn 라이브러리 연습 In [12]: import seaborn as sns import pandas as pd import numpy as np In [2]: sns.__version__ Out[2]: '0.9.0' In [3]: sns.set() sns.set_style('whitegrid') sns.set_color_codes() In [4]: current_palette = sns.color_palette() sns.palplot(current_palette) In [5]: tips = sns.load_dataset("tips") In [17]: tips.head(10) Out[17]: total_bill tip sex smoker day time size 0 16.99 1.01 Female No Sun Dinner ..
[Statistics] 통계학 공부
Data/Data Analysis 2019. 11. 25. [Statistics] 통계학 공부 데이터 분석가인데 통계학이 너무 딸린거같아... 책을 사서 공부 앞으로 이 카테고리에 올라올 통계학은 Pratical Statistics for Data Scientists 책 기반으로 공부한 내용을 정리 수식에 대해서는 책을 구입하여 보는게 더 베스트! :)ㅎㅎ 데이터를 표현하는 변수들은 수천 가지 다른 값을 가지고 있고. 이를 보여주기 위해 여러가지 통계방법이 있는데 이러한 방법 유형은 다음과 같다 위치 추정 1. 평균(mean) - 가장 많이 쓰이는 방법이고 잘 알려진 방법, 모든 값의 총합을 개수로 나눈 값 2. 가중평균(weight mean) - 가중치를 곱한 값의 총합을 가중치의 총합으로 나눈 값 3. *중간값(median) - 데이터에서 가장 가운데 위치한 값 4. 가중 중간값(weighte..
[Pandas] DataCamp - Histogram, filter data
Data/Data Analysis 2019. 11. 25. [Pandas] DataCamp - Histogram, filter data - hist 함수 특정 column에 대해서 히스토그램 작성, bins 파라미터는 분포구간을 정해줌 plt.hist(temp['target_column'], bins = 20) 출력결과는 hist함수에는 histtype이라는 변수도 설정할수가있는데 단어의 뜻에서도 보이다시피 히스토그램의 형태를 조정할수가 있음 해당 변수를 'step' 이라는 유형으로 지정시 다음과 같이 그림이 표현 - mean 함수 말 그대로 특정 column의 평균 값을 얻기위한 함수 temp['target_column'].mean() - data filter pandas dataframe을 다룰때 특정조건을 만족하는 raw만 뽑고싶을때가 많은데 이 방법을 사용하면 된다 prglength 라는 column에서 특정 값보다 높은 raw를..
[Pandas] Datacamp - Clean a variable
Data/Data Analysis 2019. 11. 25. [Pandas] Datacamp - Clean a variable 본 내용은 DataCamp에서 배운내용을 간단하게 정리한 내용입니닷 - replace 함수 NaN 이 들어가있는 column에 대해서 특정 값으로 바꾸고싶을 때 자주사용하는 함수 temp.replace([8], np.nan, inplace=True) NaN이 들어가있는 index에 대해서 8로 대체 또 다른방법으로는 fillna함수를 사용 temp['target_column'].fillna(8) - value_counts 함수 특정 column에 대해서 값을 가지고있는 행을 count하는 함수 temp['target_column'].value_counts() - describe 함수 특정 column에 대해서 통계를 내줌 (raw count, min, max, mean, 4분위수등) temp['targe..
[Pyspark] UDF함수에서 return 을 list형식으로 하고싶을 때
Data/Data Analysis 2019. 11. 15. [Pyspark] UDF함수에서 return 을 list형식으로 하고싶을 때 pyspark 에서 자주쓰이는 udf 함수 가끔 udf함수를 이용해서 list를 return할 때가 있는데, 여기서 문제는 printSchema()함수로 pyspark.dataframe을 확인할때 data type이 array(또는 list)형식으로 찍히는게 아니고 string으로 찍힌다. 따라서 udf함수가 return을 할 때 따로 return하는 데이터 타입을 선언해줘야한다. 다음코드와 같이 해줄수가있다 import pyspark.sql.functions as F from pyspark.sql.types import * def sorting_team_id(temp): return sorted(temp) change = F.udf(lambda z: sorting_team_id(z), ArrayType..
[Pyspark] sorted와 sort 의 차이
Data/Data Analysis 2019. 11. 14. [Pyspark] sorted와 sort 의 차이 pyspark에서 예를들어서 collect_list함수를 사용할때 단점이 있는데 - 순서가 상관없이 list가 생성이된다 따라서 collect_list사용후 sorting을 해줘야 나중에 groupBy등 함수를 사용할때 똑바르게 합쳐지는데 이때 sorting을 udf함수로 직접 만들어줘서 사용해야한다. import pyspark.sql.functions as F def sorting_list_pyspark_ver1(temp): return temp.sort() def sorting_list_pyspark_ver2(temp): return sorted(temp) 이렇게 두가지 방법으로 선언할수가있는데 언뜻보기에는 별다른 문제가 없어보이지만 직접 실행해보면 ver1에는 원하는 값이 안나오고 null값이 찍히..
[ML] Semi-Supervised Learning (label_propagation)
Data/Data Science 2019. 11. 1. [ML] Semi-Supervised Learning (label_propagation) 머신러닝에서는 크게 두가지로 나뉘는데 1. 지도학습(supervised learning) 2. 비지도학습(unsupervised learning) 지도학습중에서 추가로 나누자면 준지도학습(semi-supervised learning)이란 기법이있다. 이 기법은 우리가 흔히 데이터를 다룰때 일부한테만 정답지가 있고 일부한테는 정답지가 없을때 사용하는것인데 예를 들어서 다음 그림을 보자 위에 라벨링이 되어있는 데이터를 볼때 점선처럼 두개 부류로 나눌수가있다. 하지만 데이터가 적고, 단순한 모양으로인해 실제 데이터에서는 제대로 분류(작동)를 못할수가있다. 이때 추가로 라벨링이 되어있지않은 데이터를 넣을때 밑에그림과 같이 데이터 분포도를 띄우게되고. 여기서 semi-Supervised Learning을 하게되면..
[Pyspark] pyspark 로컬에 설치
Data/Data Analysis 2019. 10. 19. [Pyspark] pyspark 로컬에 설치 1. 자바 설치 커맨드창에 다음과 같이 입력했을때 출력이 있어야함 > java -version > java version "1.8.0_144" Java(TM) SE Runtime Environment (build 1.8.0_144-b01) Java HotSpot(TM) Client VM (build 25.144-b01, mixed mode, sharing) 위와 같이 나오지않는다면 다음링크에서 설치 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Java SE Development Kit 8 - Downloads Java SE Development Kit 8 Downloads Thank you for ..
[Pyspark] dataframe join 문
Data/Data Analysis 2019. 9. 16. [Pyspark] dataframe join 문 pyspark dataframe을 처리할때 join문을 많이 쓰이게 되는데 항상 sql 문으로 변환하고 join문을 쓰기에는 너무 불필요한 과정이 많아서 pyspark로 한번 join을 해보자 먼저 예제를 보면 ta = TableA.alias('ta') tb = TableB.alias('tb') 이렇게 두개의 테이블을 선언하고 inner_join = ta.join(tb, ta.name == tb.name) inner_join.show() join함수를 사용하여 두 dataframe을 합체시키는데 실제로는 매 테이블을 일일히 다 따로 선언하고 join시키기엔 귀찮다 (그렇다 난 귀차니즘이다) 그래서 혹시나해서 바로 join할수있나 살펴 보았는데 저렇게 하나씩 선언할필요없이 바로 join이 가능했다 위에 껄..
[Pandas] 4분위수? pandas.Dataframe.describe함수
Data/Data Science 2019. 8. 27. [Pandas] 4분위수? pandas.Dataframe.describe함수 기준선을 정하려고 전체 데이터의 describe함수를 사용해보았는데 사실 count, mean, std, min 밖에 잘안보았다. 근데 이번에 기준선을 정할때 describe함수를 이용하면 좋다고 얘기를들어서 밑에 25%, 50%, 75%가 무엇인지 찾아보았고 이것들은 통계쪽에서 4분위수 라고 부르는것들이였다 즉, 25% 라는 뜻은 25%의 데이터들이 해당 값보다 낮다 라고 이해하면 될꺼같다.
[MulticoreTSNE] 설치방법 및 오류해결
Data/Data Science 2019. 3. 11. [MulticoreTSNE] 설치방법 및 오류해결 설치방법은 매우매우 간단하다 명령어: pip install MulticoreTSNE 만 해주면되는데... 이렇게 간단한걸 포스팅하면 이유가 없지 사용을하면 다음과같은 오류가 뜰수도있는데Cannot find/open tsne_multicore shared library 다음과 같이 작업하면 에러를 해결할수있다 1. 먼저 MingW64를 다운로드한다.2. 환경변수에 MingW64의 bin폴더 추가3. MulticoreTSNE폴더안의 setup.py 파일을 수정한뒤 if 0 != execute(['cmake', '-GMinGW Makefiles',

티스토리툴바