[Pyspark] java.net.BindException: Can't assign requested address: Service 'sparkDriver' 오류 해결

먼저 두가지 오류가 있었는데 첫번째는

import pyspark시 에러 (cannot find module 'pyspark')

 

해당 에러는 findspark.init()함수를 먼저 실행시켜주면 해결된다

import findspark
findspark.init()

만약에 findspark가 없다면 아래 모듈 설치

python -m pip install findspark

 

두번째 오류는

java.net.BindException: Can't assign requested address: Service 'sparkDriver'

해당 오류를 해결하려면 /etc/hosts파일을 수정해야한다

 

먼저 "hostname"이라는 커맨드로 현재 호스트 이름 확인

hostname
# > JAEYUNG.local

그다음 /etc/hosts파일로 이동하여 127.0.0.1 주소를 위에서 출력된 이름 정보값을 추가로 입력 (아래는 /etc/hosts 예시파일)

# 기존에 존재하던 정보
127.0.0.1	localhost

# 아래 새롭게 추가
127.0.0.1	JAEYUNG.local