본문 바로가기

TIL

(90)
[Shell Script] script 실행 시간 제한걸기 bash script를 실행하고, 특정 시간에는 중단시켜야하는 작업이 생겨서 혼자 끙끙앓다가. 같이 일하시는분에 도움을 받아서 새로운 명령어를 알게되었다. bash script에는 timeout이라는 명령어가 존재한다. 사용 방법은 다음과같다. 만일 특정 명령어를 10초만 실행하고, 그 10초가 넘어갈경우 해당 프로세스를 종료시킨다고할때 아래와 같이 작성하면 된다. timeout 10s sleep 20 해당 명령어를 실행할경우, sleep에는 20초를 걸었기 때문에, 이전에 10초가 될경우 timeout명령어로 인해 sleep명령어가 종료된다. 만약에, 좀더 강하게 프로세스를 종료시키고싶다면 -s옵션을 주면된다 (뒤에 숫자 9도 필요한것이니 잊지말길...) timeout -s 9 10s sleep 20s..
[EKS] 처음 생성한 AWS EKS local terminal에서 연결하기 전제조건이 있다 먼저 aws credential이 설정이 되어있어야한다 그리고 eks를 생성한 게정으로 접속이 되어있어야한다 만일 zsh를사용하고 있다면 설정한 계정이 옆에 떠있을것이다 그리고 이미 생성한 eks이름을 기억한다음에 아래와 같은 명령어 실행 aws eks --region update-kubeconfig --name 이 명령어는 기본적으로 홈 디렉토리의 .kube 디렉토리에 config파일을 만들고 그 내용을 업데이트 한다. "kubectx -c" 명령어를 쳐보면, 새롭게 생성된 Context로 설정된것을 볼수가있다
[AWS] "UNPROTECTED PRIVATE KEY FILE!" Error using SSH into Amazon EC2 Instance ssh key를 활용하여 ec2에 접속하려고 하는데 아래와같은 에러문이 발생 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0644 for 'mwaa-bastion.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ignored. Load key "mwaa-bastion.pem": ba..
[docker] E: Unable to locate package [package_name] && docker entrypoint수정 실행 E: Unable to locate package Error docker쪽에서 새로운 패키지를 다운받으려고했는데, 자꾸 E: Unable to locate package git 에러가 떠서 이유를 찾아보니... package update가 안되어서 생긴문제같다 apt-get update 이후에 다시 apt-get install명령어로 설치가 필요한 패키지를 설치하면 성공 Docker entrypoint수정 docker image를 수정하려고할때, entrypoint가 걸려있어서 명령어가 안먹힐때가 있는데. 내가 실행하고싶은 명령어를 강제화 시키기 위해 다음과같은 명령어를 실행하여 docker image를 실행시킬수있다. docker run -u root -it --entrypoint /bin/sh apa..
[k8s] local machine <=> pod 파일 이동하기 너무 간단해서 당황... # local machine file to pod kubectl cp [file name] [pod name]:[pod directory] # pod file to local machine kubectl cp [pod name]:[pod directory] [file name]
[Go] Go 언어 공부에 도움된 사이트 정리 https://thebook.io/006806/ch01/01_13/ Go 언어 웹 프로그래밍 철저 입문: 1.1 Go는 어떤 언어인가? - 13 thebook.io Go 언어 관련된 책자, ebook형식으로 볼수가있다 http://golang.site/go/article/1-Go-프로그래밍-언어-소개 예제로 배우는 Go 프로그래밍 - Go 프로그래밍 언어 소개 1. Go 개발자들 GO 프로그래밍 언어는 2007년 구글에서 개발을 시작하여 2012년 GO 버젼 1.0을 완성하였다. GO는 이후 계속 향상된 버젼을 내 놓았으며 2015년 말에는 1.5.2 버젼에 이르렀다. 흔히 golang 이 golang.site Go 프로그래밍에 대한 기초 지식
[Homebrew] Error: Cannot install in Homebrew on ARM processor in Intel default prefix (/usr/local)! 이번에 노트북을 macOS M1용으로 바꾸면서 기존에 사용했던 homebrew가 에러가 발생했다. 아무래도 intel CPU에서 작동했던게 환경이 달라져서 생긴문제같다. [해결방법] 먼저 기존에 있던 Homebrew를 삭제해줘야한다. ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/uninstall)" 그런다음 M1용 Homebrew를 설치해준다 /bin/bash -c "$(curl -fsSL https://gist.githubusercontent.com/nrubin29/bea5aa83e8dfa91370fe83b62dad6dfa/raw/48f48f7fef21abb308e129a80b3214c2538fc611/h..
[Pyspark] Vector Column에서 값 가져오기 업무 관련 작업을 하다가 Vector형식의 Column에서 값을 가져오고싶은데 뜻대로 작동이 되지않았다. 찾아보니까 두가지 방법이 있는것같은데... 제일 간단한건 일단 https://spark.apache.org/docs/3.1.1/api/python/reference/api/pyspark.ml.functions.vector_to_array.html pyspark.ml.functions.vector_to_array — PySpark 3.1.1 documentation The data type of the output array. Valid values: “float64” or “float32”. spark.apache.org pyspark에 내장되어있는 vector_to_array함수를 사용하는것인데, ..