MLops - 6 (WIT)

• 모델 분석 WIT ( What-lf-Tool )
  • 모델 분석이 필요한 이유
    • 전통적인 소프트웨어 개발과 머신러닝 소프트웨어 개발 방식의 차이

      • 	전통적인 SW개발	ML SW 개발
        개발 접근법	개발자는 명시적으로 컴퓨터에게 해야할 일을 알려줘야 한다.	개발자는 Data를 통해서 특정 작업을 수행하도록 알고리즘을 학습시킨다.
        데이터 요구사항	데이터가 거의 필요하지 않다. 사람이 직접 data로부터 논리를 만들어낸다.	프로젝트의 성공이 data의 품질과 양에 크게 의존한다.
        적응력	환경이 변했을 때, SW 디자인을 다시 해야한다.	새로운 환경이 오더라도, 새로운 data를 보여주면 적응한다.

  •  What-If-Tool 소개
    • WIT 도구는 훈련된 ML 모델의 동작을 분석하는 시각화 기반 도구이다.
    • 도구를 시작할 때, 예상할 수 있는 사항에 대한 빠른 안내를 제공한다.
  • 탭
    • Datapointer Editor : 기본적으로 What-IF 도구는 항상 이탭에서 열린다.
    • Performance : 멀티 클래스와 회귀 모델에 대한 성능 및 공정성 이진 분류 모델
    • Feature
  • 작업 공간
    • 탭을 클릭하면 다른 모델 이해 작업을 수행 할 수 있는 환경인 해당 작업 공간이 열린다.
    • 각 작업 공간은 개별 데이터 포인트, 모델 또는 기능에 대한 보완 분석 그룹을 제공한다.

    • 

      WIT Tool

      
      
      • Datapoint Editor : 각각의 데이터 포인트를 우측 시각화 화면에 적용될 수 있다. 그래서 해당 피쳐를 변경했을 때 예측 결과의 변경을 확인할 수 있다.
      • Performance : 각 피쳐를 슬라이스 한 모델의 성능을 확인할 수 있다.
        예를 들어, 성적 구간 별 모델 정확도, 나이 대 별 모델 정확도
      • Performance and Fairness : 이진 분류 모델의 경우 각각의 피쳐에 대한 임계값을 다르게 설정하였을 때 성능의 차이를 다차원으로 확인할 수 있다.
  • 다음 부분은 실습 부분인데, 다음 글에서 간단히 정리하려고 한다.