데이터 처리중입니다. 잠시만 기다려 주세요... AI_Developer

Github Actions 개발자들의 workflows를 자동화 하기 위한 플랫폼 workflow 자동화된 전체 프로세스 하나 이상의 job으로 구성되고, event에 의해 예약 되거나 트리거 될 수 있는 자동화 된 절차를 말함. workflow 파일은 YAML으로 작성되고, github Repository의 .github/workflows 폴더 아래에 저장 된다. github 에게 YAML파일로 정의한 자동화 동작을 전달하면, gitHub Actions는 해당 파일을 기반으로 그대로 실행시킴 러너(runners) Github 액션 러너 애플리케이션이 설치된 서버이다. Github에서 호스팅 하는 러너를 사용할 수도 있고 직접 호스팅 할 수도 있다. Github에서 호스팅 하는 러너는 Ubuntu Lin..

flask web docker image,container만들어 배포하기. NLP Project 를 Flask로 만들었으며, 아래에 설치하는 내용들은 NLP Project 에 필요한 예시임 프로젝트에 적합한 package를 작성하여 설치하면 됨 ! flask project or git clone 한 곳에서 작업 시작. 1 .Dockerfiile 만들기. Dockerfile 내용 : flaskProject 안에 들어갈 설치 내용이 들어간다. FROM frolvlad/alpine-python-machinelearning:latest RUN pip install --upgrade pip WORKDIR /app COPY . /app RUN apk add build-base RUN apk add --no-cach..

1. 간단한 모델을 학습한 뒤, 2. 모델을 pickle 파일로 저장하고, 3. Flask 를 사용하여 해당 파일을 load하여 4. Predict gksms server 를 구현.

serving? ML MLmodel을 서비스화 하는 것 서빙 단계에서 막히는 이유? - 모델 개발과 소프트 웨어 개발의 방법 괴리 - 모델 개발 과정과 소프트웨어 개발 과정의 파편화 - 모델 평가 방식 및 모니터링 구축의 어려움 서빙의 간편화를 도와주는 도구? - seldon core - TF Serving - KF Serving - Torch Serving - BENTOML Flask , SeldomCore 사용해서 모델 서빙하기. Flask ? - MSA를 위한 web app framework - web framework : web서비스 개발을 위한 프레임 워크 - djandgo 등 framework 에 비해 괸장히 가벼우며, 확장성, 유연성이 뛰어난 프레임 워크 - 단 자체 지원 기능은 적음 - 사..

https://www.youtube.com/watch?v=Kr70uvMKsyk 0. sample project 만들어서 이미지 빌드 ( test용) https://velog.io/@wimes/Jenkins%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4-Docker%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EB%B9%8C%EB%93%9C%ED%95%B4%EB%B3%B4%EA%B8%B0 Jenkins를 이용해 Docker프로젝트 빌드해보기 본 포스팅은 동빈나 님의 Docker 활용 및 배포 자동화 실전 초급을 보고 정리한 글입니다.Jenkins를 이용해서 배포자동화를 하는 것을 목적으로 합니다.즉, 다시말해 소스코드를 GitHub에 푸시하는 것 velog.io 1..

mlflow란 머신러닝 모델의 실험을 tracking하고 model을 공유 및 deploy할 수 있도록 지원하는 라이브러리. 머신러닝 학습과 관련된 전반적인 lifecycle을 지원해주는 라이브러리 mlflow의 논리적 컴포넌트 구성은 4개로 구성되어 있다. mlflow는 단독 파이썬 패키지로 구성되어 있어 가볍고 빠르게 Workflow지원 가능하다. MLflow Tracking : Record and query experiments: code, data, config, and results 머신러닝 모델을 학습시킬 때 생기는 각종 파라미터, 그리고 머신러닝 모델 training이 끝난 후 metric의 결과 등을 logging 하고 실행할 수 있도록 코드 패키지 형식으로 지원해준다. 이러한 형식으로 만..

고객의 가치를 빠르고 안정적으로 전달하는 것 DevOps의 목적이고, 이를 위해 CICD를 사용한다. CI = 지속적인 통합 + 자동화 CD = 지속적인 배포 + 자동화 https://secrethub.io/blog/decouple-application-secrets-from-ci-cd-pipeline/ MLOps flow 데이터 준비 -> 모델 구현 -> 모델 배포 MLOps에 jenkins CI/CD 적용 하기 1,2 두가지에 적용이 가능하다. -> 2의 빌드에 1을 걸고, 1,2 의 트리거는 2를 바라보게 만들..면 되...나? 그림 1의 1. 1. jenkins -> (seldom) -> mlfolw https://ichi.pro/ko/lokeol-meosin-ui-gandanhan-mlops-p..

1. jenkins -> mlfolw model ( seldom 사용 ) https://ichi.pro/ko/lokeol-meosin-ui-gandanhan-mlops-paipeu-lain-241425055604529 로컬 머신의 간단한 MLOps 파이프 라인 클라우드로 전환하지 않고는 기업 외부에서 어떤 종류의 운영 경험도 얻는 것이 어려울 수 있습니다. 간단한 이유는 클라우드로 전환하지 않는 것이 거의 이점이 없기 때문입니다. ichi.pro 2. jenkins -> ?Model (flask 사용 ) https://cloud-oky.tistory.com/249 Python, Docker, Flask, GitLab, Jenkins를 사용하여 NLP 모델 빌드 및 배포 (CI/CD 구현 완료) www.y..

airflow DAG안에 schedule_interval 에서 시간 설정을 할 수 있다. schedule_interval의 스크립트는 crontab 서식과 같다. ex ) # 매일 9시 30분에 동작 schedule_interval="30 09 * * *", Airflow = schedule_interval =" * * * * * " crontab = * * * * * " * * * * * " 순서대로 * 분 : 1분단위로 가능 (0 ~59) // * 일때 : 1분 단위로 실행 * 시 : 매 시간 가능 (0~23) // * 일때 : 매시간 실행 * 일 : 일 (1~31) // * 일때 : 매일 실행 * 월 : 월 (1~12) // * 일때 : 매달 실행 * 요일 : 요일 (0~7)가능 // * 일때 : ..

vim 설치 # root 권한으로 들어감 sudo su # 설치 전 업데이트 먼저 apt-get update # vim 설치 apt-get install vim # vim의 편리한 기능 활성화 vim ~/.vimrc vimrc에 추가하면 편리한 기능들 set number : 줄 번호 표시 set tabstop : tab시 4칸 이동 set ignorecase : 검색시 대소문자 구별하지 않음 set hlsearch : 검색시 하이라이트 set bs=indent,eol,start : backspace 키 사용 set ruler : 상태 표시줄 커서 위치 표시 set title : 제목 표시 set showmatch : 매칭 되는 괄호 표시 set wmnu : tab 자동 완성시 가능한 목록 표시 synta..