전체 글 152

[Book][doit_1]강화학습이란

강화학습 Reinforcement Learning 행동에 대한 보상만 주어짐. 인공지능의 방법론인 머신러닝 machine learning의 한종류 머신러닝은 크게 지도학습, 비지도학습, 강화학습으로 나눔 참고: 탐험과 이용중에서 중요하게 생각하는 요소에 따라 선택하는 알고리즘 가치반복법과 MC학습법 실습에서, 아래의 알고리즘을 사용해도 됨. 탐욕알고리즘 에이전트는 가장 높은 가치 함수 또는 Q 함수를 추구하는 방향으로 해동을 결정함. 탐험을 배제한 이용 랜덤 노이즈 알고리즘 에이전트가 지나는 각 단계마다 가치 함수의 추정치에 무작윗값을 더하는 방식. 이렇게 더한 노이즈로 탐험을 진행 앱실론-탐욕 알고리즘 에이전트는 엡실론 확률을 통해 가장 높은 가치 함수를 추구하지 않는 행동 중에서 하나를 무작위로 선택..

[kubeflow]kubeflow란 ?

쿠버네티스 -> 리소스를 효율적으로 사용할 수 있음. Kubeflow -> kfServing : 쿠버 위에서 모델 서빙할떄 사용 -> Katib : 하이퍼파라메터옵티마이저 -> training Oprators: 트래이닝 오퍼레이터들(tf Job, PyTorchJob 등을 묶어서) -> multi Tenancy : 인증, 인가를 거쳐 access 제한을 두고 있음 Kubeflow pipeline 머신러닝 workflow를 DAG(방향 순환이 없는 그래프)형태로 정의한 것 Kubeflow 에 배포 후 run 하면 pipeline을 구성하는 각각의 component 들이 k8s 위에서 pod 으로 생성되어 서로 데이터를 주고 받으며 흘러감. 즉, model 을 serving 까지 보내는데 필요한 모든 작업을 ..

Infra/MLops 2022.01.26

[GitLab] gitLab에 프로젝트 올리기

1.github, gitlab 에서 New Project > Create blank project >project Name 작성후 >create project 2. cmd 창 project 가 있는 경로로 가기. git init git remote add origin git add . git commit -m "commit message" git push -u origin master gitLab 에 가서 보면 프로젝트안에 파일이 업로드 된걸 확인 할 수 있다. .gitignore -> 깃에 업로드 하지 않을 파일 내역을 적어두면 뺴고 업로드가 가능

Infra/MLops 2022.01.25

1!!!!![jenkins][Gitlab] flask project cicd _ 1

4-3-10 1. cicd 배포 2. 도커이미지 말아서 올리기 1. git에 project 올리기 https://s00jinii.tistory.com/45 다시 깃 커밋하기 dockerfile, docker-compose.yml , requirements.txt 만들기. # requirements.txt flask nltk # docker-compose.yml version: "3" # 2.2 or 3 이상 을 하지 않으면 에러가 난당 ^^ services: web: build: . container_name: flask_api volumes: - .:/code ports: - "9091:9091" # docker file # FROM frolvlad/alpine-python-machinelearning..

Infra/MLops 2022.01.25

[Monitoring]Prometheus & Grafana

1. Prometheus Prometheus : 모니터링 & 알람 프로그램 ( 오픈소스 ) 쿠버네티스에 주로 사용하나, 종속적이진 않음. 수집하는 metric데이터를 다차원의 시계열 데이터 형태로 저장 자체언어 PromQL 언어 사용해야함. timeSeries DB 지원 server가 직접 정보를 가져가는 pull 방식 !! 다양한 시각화툴과 연동지원, 다양한 알람 지원 Prometheus Server 시계열 데이터를 수집하고 저장 Service Discovery Exporter prometheus가 metrics를 수집해 갈 수 있도록 정해진 HTTP Endpoint를 제공하여 정해진 형태로 metrucs를 export prometheus Server 가 이 exporter의 endpoint로 HTTP..

Infra/MLops 2022.01.25

[workflows]Github Actions과 jenkins

Github Actions 개발자들의 workflows를 자동화 하기 위한 플랫폼 workflow 자동화된 전체 프로세스 하나 이상의 job으로 구성되고, event에 의해 예약 되거나 트리거 될 수 있는 자동화 된 절차를 말함. workflow 파일은 YAML으로 작성되고, github Repository의 .github/workflows 폴더 아래에 저장 된다. github 에게 YAML파일로 정의한 자동화 동작을 전달하면, gitHub Actions는 해당 파일을 기반으로 그대로 실행시킴 러너(runners) Github 액션 러너 애플리케이션이 설치된 서버이다. Github에서 호스팅 하는 러너를 사용할 수도 있고 직접 호스팅 할 수도 있다. Github에서 호스팅 하는 러너는 Ubuntu Lin..

Infra/MLops 2022.01.25

[Docker][Flask]flask web docker image,container만들어 배포하기.

flask web docker image,container만들어 배포하기. NLP Project 를 Flask로 만들었으며, 아래에 설치하는 내용들은 NLP Project 에 필요한 예시임 프로젝트에 적합한 package를 작성하여 설치하면 됨 ! flask project or git clone 한 곳에서 작업 시작. 1 .Dockerfiile 만들기. Dockerfile 내용 : flaskProject 안에 들어갈 설치 내용이 들어간다. FROM frolvlad/alpine-python-machinelearning:latest RUN pip install --upgrade pip WORKDIR /app COPY . /app RUN apk add build-base RUN apk add --no-cach..

Infra/MLops 2022.01.20

[MLops] Model Serving 이란?

serving? ML MLmodel을 서비스화 하는 것 서빙 단계에서 막히는 이유? - 모델 개발과 소프트 웨어 개발의 방법 괴리 - 모델 개발 과정과 소프트웨어 개발 과정의 파편화 - 모델 평가 방식 및 모니터링 구축의 어려움 서빙의 간편화를 도와주는 도구? - seldon core - TF Serving - KF Serving - Torch Serving - BENTOML Flask , SeldomCore 사용해서 모델 서빙하기. Flask ? - MSA를 위한 web app framework - web framework : web서비스 개발을 위한 프레임 워크 - djandgo 등 framework 에 비해 괸장히 가벼우며, 확장성, 유연성이 뛰어난 프레임 워크 - 단 자체 지원 기능은 적음 - 사..

Infra/MLops 2022.01.20

[Jenkins] ML cicd

https://www.youtube.com/watch?v=Kr70uvMKsyk 0. sample project 만들어서 이미지 빌드 ( test용) https://velog.io/@wimes/Jenkins%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4-Docker%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EB%B9%8C%EB%93%9C%ED%95%B4%EB%B3%B4%EA%B8%B0 Jenkins를 이용해 Docker프로젝트 빌드해보기 본 포스팅은 동빈나 님의 Docker 활용 및 배포 자동화 실전 초급을 보고 정리한 글입니다.Jenkins를 이용해서 배포자동화를 하는 것을 목적으로 합니다.즉, 다시말해 소스코드를 GitHub에 푸시하는 것 velog.io 1..

Infra 2022.01.19
반응형