Infra 48

[docker error]System has not been booted with systemd as init system (PID 1). Can't operate.Failed to connect to bus: Host is down

systemctl start docker 을 실행 시켰는데 아래와 같은 에러가 발생했다. System has not been booted with systemd as init system (PID 1). Can't operate. Failed to connect to bus: Host is down 아래의 명령어를 실행하고 나니 잘된다. 아마 docker, docker.io, containderd 중 뭐가 설치가 잘 안됐나보당 ㅎㅎ sudo apt-get remove docker docker.io containderd sudo apt-get install docker-ce docker-ce-cli containerd.io sudo service docker start 암튼 이쁘게 잘뜸

Infra 2022.02.15

[docker]docker Image Ubuntu 20.04 만들기

docker run -d --name k8s_node1 -p 22:22 -it --privileged ubuntu:20.04 # >> docker 컨테이너 생성 및 실행 옵션 설명 -d: 백그라운드 실행 --name: 컨테이너 이름 부여 -p: 포트 매핑 (순서 -> 호스트:컨테이너) -it: 컨테이너에 attach하여 조작하기 위한 옵션 --privileged: 관리자 권한을 획득하기 위한 옵션 위에서 22번 포트로 매핑한 이유는 SSH 접속하기 위함이다. 다른 포트도 사용하고 싶다면 -p 80:8080 과 같이 추가하면 됨 docker ps 도커 생성이 완료되면, 제대로 올라왔는지 ps 명령어로 확인 # docker images 전체 확인 docker ps -a #해당 포트가 사용중인지 확인 sudo..

Infra 2022.02.14

flask error -20220207

Flask rest API 서버에 내 머신러닝 프로젝트를 연결시키는 가운데 에러들이 빵빵 터졌당 ㅠㅠ error list up ing~~~ 아ㅠㅠㅠㅠㅠㅠ아래의 방법도 한번 해봐야지 ㅠㅠ https://soyoung-new-challenge.tistory.com/118 [Python] Flask + uWSGI + Nginx를 연결 및 배포 이번 포스팅은 Flask + uWSGI + Nginx를 연결하여 웹 애플리케이션을 배포하는 포스팅입니다. Flask ( 웹 애플리케이션 ) Flask는 파이썬으로 작성된 마이크로 웹 프레임워크 중 하나이다. Flask 설치 $ pip i soyoung-new-challenge.tistory.com flask project 안에서 에러가 났을때, flask함수 안에서 파이..

Infra 2022.02.07

git project pull

git project pull 받기 -> 특정 브랜치에 있는 project를 클론 하고싶은 경우 git clone -b --single-branch 1. git fetch란? 페치(fetch)는 원격 저장소의 커밋들을 로컬 저장소로 가져온다. 그리고 자동으로 병합(Merge)를 해주지 않기 때문에 본인이 직접 확인을 한 후에 병합(Merge)하는 과정을 거쳐야한다. 2. git pull이란? git pull이란 원격 저장소의 정보를 가져오면서 자동으로 로컬 브랜치에 병합(Merge)까지 수행해주는 명령어이다. git push 할떄 git push 할때 git add . # >> 수정한 파일들 상황 반영 git commit -m "커밋 내용" # >> 커밋 내용을 작성 git push -u origin m..

Infra/MLops 2022.02.07

[kubeflow]kubeflow란 ?

쿠버네티스 -> 리소스를 효율적으로 사용할 수 있음. Kubeflow -> kfServing : 쿠버 위에서 모델 서빙할떄 사용 -> Katib : 하이퍼파라메터옵티마이저 -> training Oprators: 트래이닝 오퍼레이터들(tf Job, PyTorchJob 등을 묶어서) -> multi Tenancy : 인증, 인가를 거쳐 access 제한을 두고 있음 Kubeflow pipeline 머신러닝 workflow를 DAG(방향 순환이 없는 그래프)형태로 정의한 것 Kubeflow 에 배포 후 run 하면 pipeline을 구성하는 각각의 component 들이 k8s 위에서 pod 으로 생성되어 서로 데이터를 주고 받으며 흘러감. 즉, model 을 serving 까지 보내는데 필요한 모든 작업을 ..

Infra/MLops 2022.01.26

[GitLab] gitLab에 프로젝트 올리기

1.github, gitlab 에서 New Project > Create blank project >project Name 작성후 >create project 2. cmd 창 project 가 있는 경로로 가기. git init git remote add origin git add . git commit -m "commit message" git push -u origin master gitLab 에 가서 보면 프로젝트안에 파일이 업로드 된걸 확인 할 수 있다. .gitignore -> 깃에 업로드 하지 않을 파일 내역을 적어두면 뺴고 업로드가 가능

Infra/MLops 2022.01.25

1!!!!![jenkins][Gitlab] flask project cicd _ 1

4-3-10 1. cicd 배포 2. 도커이미지 말아서 올리기 1. git에 project 올리기 https://s00jinii.tistory.com/45 다시 깃 커밋하기 dockerfile, docker-compose.yml , requirements.txt 만들기. # requirements.txt flask nltk # docker-compose.yml version: "3" # 2.2 or 3 이상 을 하지 않으면 에러가 난당 ^^ services: web: build: . container_name: flask_api volumes: - .:/code ports: - "9091:9091" # docker file # FROM frolvlad/alpine-python-machinelearning..

Infra/MLops 2022.01.25

[Monitoring]Prometheus & Grafana

1. Prometheus Prometheus : 모니터링 & 알람 프로그램 ( 오픈소스 ) 쿠버네티스에 주로 사용하나, 종속적이진 않음. 수집하는 metric데이터를 다차원의 시계열 데이터 형태로 저장 자체언어 PromQL 언어 사용해야함. timeSeries DB 지원 server가 직접 정보를 가져가는 pull 방식 !! 다양한 시각화툴과 연동지원, 다양한 알람 지원 Prometheus Server 시계열 데이터를 수집하고 저장 Service Discovery Exporter prometheus가 metrics를 수집해 갈 수 있도록 정해진 HTTP Endpoint를 제공하여 정해진 형태로 metrucs를 export prometheus Server 가 이 exporter의 endpoint로 HTTP..

Infra/MLops 2022.01.25
반응형