본문 바로가기

TIL/개인공부

(26)
[Shell Script] script 실행 시간 제한걸기 bash script를 실행하고, 특정 시간에는 중단시켜야하는 작업이 생겨서 혼자 끙끙앓다가. 같이 일하시는분에 도움을 받아서 새로운 명령어를 알게되었다. bash script에는 timeout이라는 명령어가 존재한다. 사용 방법은 다음과같다. 만일 특정 명령어를 10초만 실행하고, 그 10초가 넘어갈경우 해당 프로세스를 종료시킨다고할때 아래와 같이 작성하면 된다. timeout 10s sleep 20 해당 명령어를 실행할경우, sleep에는 20초를 걸었기 때문에, 이전에 10초가 될경우 timeout명령어로 인해 sleep명령어가 종료된다. 만약에, 좀더 강하게 프로세스를 종료시키고싶다면 -s옵션을 주면된다 (뒤에 숫자 9도 필요한것이니 잊지말길...) timeout -s 9 10s sleep 20s..
[EKS] 처음 생성한 AWS EKS local terminal에서 연결하기 전제조건이 있다 먼저 aws credential이 설정이 되어있어야한다 그리고 eks를 생성한 게정으로 접속이 되어있어야한다 만일 zsh를사용하고 있다면 설정한 계정이 옆에 떠있을것이다 그리고 이미 생성한 eks이름을 기억한다음에 아래와 같은 명령어 실행 aws eks --region update-kubeconfig --name 이 명령어는 기본적으로 홈 디렉토리의 .kube 디렉토리에 config파일을 만들고 그 내용을 업데이트 한다. "kubectx -c" 명령어를 쳐보면, 새롭게 생성된 Context로 설정된것을 볼수가있다
[k8s] local machine <=> pod 파일 이동하기 너무 간단해서 당황... # local machine file to pod kubectl cp [file name] [pod name]:[pod directory] # pod file to local machine kubectl cp [pod name]:[pod directory] [file name]
[Go] Go 언어 공부에 도움된 사이트 정리 https://thebook.io/006806/ch01/01_13/ Go 언어 웹 프로그래밍 철저 입문: 1.1 Go는 어떤 언어인가? - 13 thebook.io Go 언어 관련된 책자, ebook형식으로 볼수가있다 http://golang.site/go/article/1-Go-프로그래밍-언어-소개 예제로 배우는 Go 프로그래밍 - Go 프로그래밍 언어 소개 1. Go 개발자들 GO 프로그래밍 언어는 2007년 구글에서 개발을 시작하여 2012년 GO 버젼 1.0을 완성하였다. GO는 이후 계속 향상된 버젼을 내 놓았으며 2015년 말에는 1.5.2 버젼에 이르렀다. 흔히 golang 이 golang.site Go 프로그래밍에 대한 기초 지식
[Pyspark] Vector Column에서 값 가져오기 업무 관련 작업을 하다가 Vector형식의 Column에서 값을 가져오고싶은데 뜻대로 작동이 되지않았다. 찾아보니까 두가지 방법이 있는것같은데... 제일 간단한건 일단 https://spark.apache.org/docs/3.1.1/api/python/reference/api/pyspark.ml.functions.vector_to_array.html pyspark.ml.functions.vector_to_array — PySpark 3.1.1 documentation The data type of the output array. Valid values: “float64” or “float32”. spark.apache.org pyspark에 내장되어있는 vector_to_array함수를 사용하는것인데, ..
[TIL] Docker Volume 관련 Dockerfile yml파일에서 volume관련 작업할때, host 폴더와 container 폴더를 잇게해주기위해서는 다음과같이 작업 version: '3' services: zookeeper: ... volumes: - ./data/zookeeper/data:/data # host->./data/zookeeper/data, container->/data - ./data/zookeeper/datalog:/datalog # host->./data/zookeeper/datalog, container->/datalog 앞에서의 ./data/zookeeper/data는 host의 경로이고, container의 /data경로에 잇는방식. 마찬가지로 ./data/zookeeper/datalog는 host의 경로,..
[TIL] Precision, Recall, classification_report Precision, Recall이 말할때마다 너무 헷갈려서 생각정리겸 적어놓는다. Precision같은경우에는 수식에서도 보이듯이 Negative요소를 고려하지않는 수치이다. 즉, "분류"가 잘되었는지만 고려한다. Recall같은경우에는 Negative요소를 고려하는 수치이다. 즉, "잘못 분류"가 되었는지도 함께 고려한 값이다. 암에 관련된 모델을 만들었다고 했을때 TP - 암에 걸리고 암이라고 진단받은 사람 FP - 암에 걸리지 않았지만 암이라고 진단받은 사람 TN - 암에 걸리지 않았지만 암이라고 진단을 "안"받은 사람 FN - 암에 걸렸는데 암이라고 진단을 "안"받은사람 따라서 Precision은 예측모델이 Negative요소로 잘못 분류되도 상관이 없을때 주로 사용하는 측정값이다. 예시로, 암을..
[Selenium] unknown error: DevToolsActivePort file doesn't exist 문제 해결 다음과같이 webdriver.Chrome에 chrome_options라는 파라미터값을 추가하면 해결된다. 출처: https://study-grow.tistory.com/entry/DevToolsActivePort-file-doesnt-exist-error-해결법 from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') chrome_options.add_argument('--no-sandbox') chrome_options.add_argument("--single-process") chrome_options.add_argument("--disable-dev-..