[Airflow] Ubuntu20.04 Anaconda 상에서 Airflow 간단설치

먼저 conda virtualenv 로 가상환경을 만들어준다

# airflow라는 가상환경을 만드는 동시에 pip & python3.8 설치
conda create -n airflow pip python=3.8

설치가 완료가되면 만든 가상환경으로 접속해준뒤(접속하게되면 terminal 앞쪽에 (airflow) 라고 뜨게된다)

conda activate airflow

활성화 전

활성화 후

활성화 이후에 pip install 로 apache-airflow를 설치해준다

pip install apache-airflow

자 이제 airflow의 홈 디렉토리를 설정해줘야하는데, 만일 해당과정을 안할경우에는 $HOME 으로 지정되어있는 공간에 airflow폴더가 생성된다. 하지만, 난 지금 따로 디렉토리를 지정해줘야하니 다음과같이 작업한다.

#먼저 vim 을 이용해서 bashrc파일을 편집
vim ~/.bashrc

# 제일 마지막에 다음과같은 문장 추가
export AIRFLOW_HOME=$HOME/jaeyung

# 저장이후에 시스템에 반영해주기위해 source명령어 실행
source ~/.bashrc

이제 마지막으로 airflow db init를 해주면된다. (참고로 airflow1.x 버전에서는 airflow initdb 명령어이다)

airflow db init

이후에 예제 dags 이 잘 표시되는지 확인. (이것도 참고로 airflow1.x 버전에서는 airflow list_dags 명령어이다)

airflow dags list