MLOps - 2

• 머신러닝 파이프 라인 단계

1.  데이터 수집(Data Ingestion / versioning)
        :데이터 수집은 모든 머신러닝 파이프라인의 시작 
2.  데이터 버전 관리(Data Ingestion / versioning)
        : 들어오는 데이터를 버전 관리하여 데이터 스냅샷을 파이프라인 끝에 있는 학습된 모델과 연결하는 것도 중요
3.  데이터 유효성 검사(Data validation)
        : 새 모델 버전을 학습하기 전에 새 데이터를 검증해야 한다. 
        : 새 데이터의 통계가 예상대로인지 확인하는데 초점을 맞춘다.
        : 또한 이상 징후가 감지 될 경우 데이터 과학자에 게 경고한다.
4.  데이터 전처리(Data preprocessing)
        : 학습 실행에 사용하기 위한 데이터를 미리 처리 해야한다. 
        : 모델을 학습하기 전에 학습 라이프사이클 바로 전 단계에서 전처리를 실행하는 것이 가장 합리적이다. 
        : 전처리 단계를 수정하면 데이터셋에 영향을 주고 반대로 데이터셋이 전처리 단계에 영향을 준다.
5. 모델 학습(Model training)
        : 머신러닝 파이프라인의 핵심
        : 가능한 가장 낮은 오차를 사용하여 입력을 수행하고 출력을 예측하는 모델을 학습한다.
        : 메모리 경우, 모델 훈련의 효율적인 분포가 매우 중요하다.
6.  모델 튜닝(Model tuning)
        : 머신러닝 파이프라인을 고려하기 전에 모델을 튜닝하도록 선택하거나 파이프라인의 일부로 튜닝하는 것이 좋         다.
7.  모델 분석(Model analysis)
        :  일반적으로 정확도 또는 손실을 사용하여 최적의 모형 모수 집합을 결정한다.
        :  모델의 최종 버전을 결정한 후에는 모델의 성능에 대해 보다 심층적으로 분석하는 것이 매우 유용하다.
        :  심층적으로 하는 또 다른 이유는 모형의 예측이 공정하다는 것을 확인하기 위해서이다.
        :  학습에 사용되는 피쳐에 대한 모델의 의존도를 조사하고, 단일 학습 예제의 피쳐을 변경할 경우 모델의 예측          이 어떻게 변화하는지 살펴볼 수 있습니다.
8.  모델 버전 관리(Model validation)
        : 모델 버전 지정 및 검증 단계의 목적은 다음 버전으로 어떤 모델, 하이퍼 파라미터 세트 및 데이터셋이 선택되었는지 추적하는 것이다.
9. 모델 배포(Model deployment)
        :  모델을 학습, 튜닝 및 분석한 뒤, 모델을 배포할 수 있다.
        :  REST, RPC, 프로토콜과 같은 여러 API인터페이스를 제공하여 동일한 모델의 여러 버전을 동시에 호스트할 수 있는 경우가 많다.
        : 여러 버전을 동시에 호스팅한다면 모델 A/B 테스트를 실행하면서 모델 개선 사항에 대한 피드백을 얻을 수 있다.
10. 피드백 루프 반복(Model Feedback)
         : 피드백 루프 반복을 간과하기 쉽지만, 데이터 과학 프로젝트의 성공에는 매우 중요한 주제이다.
         : 피드백 루프를 만들어야 새로 배포된 모델의 효과와 성능을 측정할 수 있습니다. 이 단계에서는 모델의 성능에 대한 중요한 정보를 측정한다.
         : 경우에 따라 데이터셋을 늘리고 모델을 업데이트하기 위해 새로운 학습 데이터를 수집한다.
         : 두 가지 수동 검토 단계(모델 분석 단계와 피드백 단계)를 제외하고 전체 파이프라인을 자동화할 수 있다
11. 개인정보 보호
         : 데이터 개인 정보 보호에 대한 고려사항은 표준 머신러닝 파이프라인 외부에 있다.
         : 데이터 사용에 대한 소비자의 우려가 커지고, 개인 데이터의 사용을 제한하는 새로운 법률이 도입됨에 따라 향후 이러한 상황이 달라질 것으로 예상된다.