본문 바로가기

분류 전체보기23

MLOps - 5 (TFDV) 데이터 검증 ( TFDV ) 데이터 검증 TFDV 스키마 추론과 스키마 환경 데이터 드리프트 및 스큐 데이터 검증 TFDV 데이터 검증이 필요한 이유 머신러닝 시스템에서 데이터로 인한 장애는 파악하기 쉽지 않다. 데이터가 잘못 들어와도 예측은 정상적으로 수행되기 때문에 잘못된 예측값을 늦게서야 인지하는 경우가 많아서, 데이터를 사용하기 전에 미리 데이터가 정상적인지 확인하는 과정을 거쳐야한다. 'TFDV'에는 기술 통계보기, 스키마 추론, 이상 항목 확인 및 수정, 데이터 세트의 드리프트 및 왜곡확인이 포함된다. #Pip 업그레이드 try: import colab !pip install --upgrade pip except: pass #TensorFlow 설치 $ pip install tensorflow.. 2022. 1. 23.
Attention VS Self Attention Attention은 Decoder로부터 Qurery가 나오고, Encoder로부터 Key와 Value값이 나와서 Encoder와 Decoder 사이의 상관관계를 바탕으로 특징을 추출하는것이다. Self Attention 같은 경우는, 입력 데이터로부터 Query, Key, Value가 모두 계산이 되고, 데이터 내의 상관관계를 바탕으로 특징을 추출한다고 볼 수 있다. 2022. 1. 17.
MLOps - 4 리서치 코드 품질 관리 자동화 본 강의에서는 코드 문제 및 CI(+실습)에 대해서 말씀을 해주셨다. 리서치 코드 품질 문제 일반적으로 리서치 조직에서 생기는 코드 품질의 문제에 대해 이해 한다. 복사 붙여 넣기 - 괜찮은 오픈소스를 일단 복사 붙여놓고, 돌아가는지 확인하고 자신의 task에 맞게 바꾸는 경우가 되게 많다고한다. 그러다보니 실제 코드를 만들 때, 관리 및 정리가 부족하고 새로운 것을 적용하려고 할때 어려움이 잦다고 한다. (꼭 다 그렇다는 것은 아니다.) 깨진 유리창의 법칙 품질이 낮은 코드를 쌓아올리기 시작하면, 곧 다른 협업자들의 코드 품질도 떨어지기 시작한다는 것이다. 문제 코드 중복 코드 재사용성 너무 많은 전역 변수 - 당장 쓰기에는 편할 수 있지만, 항상 사이드이펙트를 가져온다... 2022. 1. 6.
Zero Shot, One Shot, Few Shot Learning 1. Zero shot learning 예를 들어, 아이에게 소와 말을 가르쳐주고, 얼룩말은 가르쳐준 동물들의 특징을 합쳐둔 것이라고 설명을 해준다. 그러면 아이는 얼룩말을 본적은 없지만 얼룩말이라고 맞출 수가 있는 것이다. Zero shot learning에서는 Image, Class Label, Side-Information 3가지를 가지고 학습을 해야한다. 2. One shot learning One shot learning은 원숭이의 사진을 가르쳐주면 다른 모양의 원숭이사진을 보여주어도 원숭이라고 맞출수가 있다. 3. Few shot learning Few Shot learning은 여러 종류의 개를 보여주면서 가르쳐주고, 새로운 종의 개를 보여주면 개라는 것을 맞출 수 있는 것이다. 이는 인간에.. 2022. 1. 4.

티스토리툴바