[kubeflow]kubeflow란 ?

쿠버네티스

-> 리소스를 효율적으로 사용할 수 있음.

 

 

Kubeflow

-> kfServing : 쿠버 위에서 모델 서빙할떄 사용

-> Katib : 하이퍼파라메터옵티마이저 

-> training Oprators: 트래이닝 오퍼레이터들(tf Job, PyTorchJob 등을 묶어서)

-> multi Tenancy : 인증, 인가를 거쳐 access 제한을 두고 있음

 

Kubeflow pipeline

• 머신러닝 workflow를 DAG(방향 순환이 없는 그래프)형태로 정의한 것
• Kubeflow 에 배포 후 run 하면 pipeline을 구성하는 각각의 component 들이 k8s 위에서 pod 으로 생성되어 서로 데이터를 주고 받으며 흘러감.
• 즉, model 을 serving 까지 보내는데 필요한 모든 작업을 재사용 가능한 단위(component)로 나누고 k8s위에서 연결 시켜주는 역할

 

Kubeflow pipeline 의 Goal

• End to end Orchestration
• Easy Experimentation
• Easy RE- Use

 

Kubeflow pipeline 의 Goal

• End to end Orchestration
  • 모델 연구 및 학습 과정과 서빙 과정의 괴리가 없도록 함
• Easy Experimentation
  • 다양한 configuration 에 따라 수 많은 시도를 쉽게 함
• Easy RE- Use
  • 잘 설계된 kfp component 들은 재사용 가능 하므로, 새로 pipeline을 만들 때의 작업 효율 향상

보면 좋은 영상 : 

https://www.youtube.com/watch?v=cTZArDgbIWw