데이터 처리중입니다. 잠시만 기다려 주세요... AI_Developer

4-3-10 1. cicd 배포 2. 도커이미지 말아서 올리기 1. git에 project 올리기 https://s00jinii.tistory.com/45 다시 깃 커밋하기 dockerfile, docker-compose.yml , requirements.txt 만들기. # requirements.txt flask nltk # docker-compose.yml version: "3" # 2.2 or 3 이상 을 하지 않으면 에러가 난당 ^^ services: web: build: . container_name: flask_api volumes: - .:/code ports: - "9091:9091" # docker file # FROM frolvlad/alpine-python-machinelearning..

1. Prometheus Prometheus : 모니터링 & 알람 프로그램 ( 오픈소스 ) 쿠버네티스에 주로 사용하나, 종속적이진 않음. 수집하는 metric데이터를 다차원의 시계열 데이터 형태로 저장 자체언어 PromQL 언어 사용해야함. timeSeries DB 지원 server가 직접 정보를 가져가는 pull 방식 !! 다양한 시각화툴과 연동지원, 다양한 알람 지원 Prometheus Server 시계열 데이터를 수집하고 저장 Service Discovery Exporter prometheus가 metrics를 수집해 갈 수 있도록 정해진 HTTP Endpoint를 제공하여 정해진 형태로 metrucs를 export prometheus Server 가 이 exporter의 endpoint로 HTTP..

Github Actions 개발자들의 workflows를 자동화 하기 위한 플랫폼 workflow 자동화된 전체 프로세스 하나 이상의 job으로 구성되고, event에 의해 예약 되거나 트리거 될 수 있는 자동화 된 절차를 말함. workflow 파일은 YAML으로 작성되고, github Repository의 .github/workflows 폴더 아래에 저장 된다. github 에게 YAML파일로 정의한 자동화 동작을 전달하면, gitHub Actions는 해당 파일을 기반으로 그대로 실행시킴 러너(runners) Github 액션 러너 애플리케이션이 설치된 서버이다. Github에서 호스팅 하는 러너를 사용할 수도 있고 직접 호스팅 할 수도 있다. Github에서 호스팅 하는 러너는 Ubuntu Lin..

flask web docker image,container만들어 배포하기. NLP Project 를 Flask로 만들었으며, 아래에 설치하는 내용들은 NLP Project 에 필요한 예시임 프로젝트에 적합한 package를 작성하여 설치하면 됨 ! flask project or git clone 한 곳에서 작업 시작. 1 .Dockerfiile 만들기. Dockerfile 내용 : flaskProject 안에 들어갈 설치 내용이 들어간다. FROM frolvlad/alpine-python-machinelearning:latest RUN pip install --upgrade pip WORKDIR /app COPY . /app RUN apk add build-base RUN apk add --no-cach..

1. 간단한 모델을 학습한 뒤, 2. 모델을 pickle 파일로 저장하고, 3. Flask 를 사용하여 해당 파일을 load하여 4. Predict gksms server 를 구현.

serving? ML MLmodel을 서비스화 하는 것 서빙 단계에서 막히는 이유? - 모델 개발과 소프트 웨어 개발의 방법 괴리 - 모델 개발 과정과 소프트웨어 개발 과정의 파편화 - 모델 평가 방식 및 모니터링 구축의 어려움 서빙의 간편화를 도와주는 도구? - seldon core - TF Serving - KF Serving - Torch Serving - BENTOML Flask , SeldomCore 사용해서 모델 서빙하기. Flask ? - MSA를 위한 web app framework - web framework : web서비스 개발을 위한 프레임 워크 - djandgo 등 framework 에 비해 괸장히 가벼우며, 확장성, 유연성이 뛰어난 프레임 워크 - 단 자체 지원 기능은 적음 - 사..

https://www.youtube.com/watch?v=Kr70uvMKsyk 0. sample project 만들어서 이미지 빌드 ( test용) https://velog.io/@wimes/Jenkins%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4-Docker%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EB%B9%8C%EB%93%9C%ED%95%B4%EB%B3%B4%EA%B8%B0 Jenkins를 이용해 Docker프로젝트 빌드해보기 본 포스팅은 동빈나 님의 Docker 활용 및 배포 자동화 실전 초급을 보고 정리한 글입니다.Jenkins를 이용해서 배포자동화를 하는 것을 목적으로 합니다.즉, 다시말해 소스코드를 GitHub에 푸시하는 것 velog.io 1..

mlflow란 머신러닝 모델의 실험을 tracking하고 model을 공유 및 deploy할 수 있도록 지원하는 라이브러리. 머신러닝 학습과 관련된 전반적인 lifecycle을 지원해주는 라이브러리 mlflow의 논리적 컴포넌트 구성은 4개로 구성되어 있다. mlflow는 단독 파이썬 패키지로 구성되어 있어 가볍고 빠르게 Workflow지원 가능하다. MLflow Tracking : Record and query experiments: code, data, config, and results 머신러닝 모델을 학습시킬 때 생기는 각종 파라미터, 그리고 머신러닝 모델 training이 끝난 후 metric의 결과 등을 logging 하고 실행할 수 있도록 코드 패키지 형식으로 지원해준다. 이러한 형식으로 만..

EA: 강화학습 작업에 적용할 수 있는 생물학적 진화에서 영감을 얻은 새로운 블랙박스 알고리즘 EA 는 강화학습과 다른 관점에서 해당 문제를 해결함 강화학습 알고리즘을 설계할 떄 다뤄야 하는 많은 특성은 진화방법에서 필요없음 두가지 방법의 차이는 본질적 최적화 방법과 기본 가정에 있음 ex. EA는 블랙박스 알고리즘이므로 강화학습에서와 같이 미분 가능한 함수를 더 이상 사용 하지 않아도 돼 원하는 함수가 뭐든지 최적화 할 수 있음. 두가지 진화 알고리즘 : 1. 유전자 알고리즘 genetic algorithms 교차 crossover와 돌연변이 mutation를 이용해 부모로 부터 자손을 생성하므로 더 복잡 2. 진화 전략 evolution stategies 이전 세대의 돌연변이를 통해 만들어진 개체군에..

모방 학습이라는 새로운 학습 방법을 알아봄 -> 신규 패러다임의 특징은 전문가의 행동을 흉내내는 학습 방법에 있음. 모방학습은 보상 신호가 없다는 점과 전문가가 제공하는 많은 정보를 사용 할 수 있다는 점에서 강화학습과 다름 새로운 상태에서 학습자의 행동 신뢰도를 높이기 위해 학습자가 학습에사용하는 데이터 집합을 상태 행동 집합에 추가해 확장할 수 있다. -> 이 프로세스를 데이터 집계라고 한다. 새로운 데이터는 새로운 학습 폴리시에서 발생하며 이 경우 동일한 학습 폴리시에서 발생하는 온-폴리시 데이터를 언급 온-폴리시 상태와 전문가 피드백의 통합은 학습 품질을 높이는 매우 좋은 접근법이다. 모방학습 알고리즘은 전문가의 행동을 따라하기만 하므로 전문가 보다 좋은 성능을 달성 할 수 없다는 한계가 있다. ..