공부/하루 1단어4 Attention VS Self Attention Attention은 Decoder로부터 Qurery가 나오고, Encoder로부터 Key와 Value값이 나와서 Encoder와 Decoder 사이의 상관관계를 바탕으로 특징을 추출하는것이다. Self Attention 같은 경우는, 입력 데이터로부터 Query, Key, Value가 모두 계산이 되고, 데이터 내의 상관관계를 바탕으로 특징을 추출한다고 볼 수 있다. 2022. 1. 17. Zero Shot, One Shot, Few Shot Learning 1. Zero shot learning 예를 들어, 아이에게 소와 말을 가르쳐주고, 얼룩말은 가르쳐준 동물들의 특징을 합쳐둔 것이라고 설명을 해준다. 그러면 아이는 얼룩말을 본적은 없지만 얼룩말이라고 맞출 수가 있는 것이다. Zero shot learning에서는 Image, Class Label, Side-Information 3가지를 가지고 학습을 해야한다. 2. One shot learning One shot learning은 원숭이의 사진을 가르쳐주면 다른 모양의 원숭이사진을 보여주어도 원숭이라고 맞출수가 있다. 3. Few shot learning Few Shot learning은 여러 종류의 개를 보여주면서 가르쳐주고, 새로운 종의 개를 보여주면 개라는 것을 맞출 수 있는 것이다. 이는 인간에.. 2022. 1. 4. Python3 vs Pypy3 코테 문제를 접하다가 시간초과에 걸리는 문제가 발생하였다. 계속해서 시도해도 되지않길래 검색을 통해서 해보니 같은 코드여도 python3로는 시간초과가 발생하고, pypy3로는 통과를 하게 되는 것을 알게되었다. https://ralp0217.tistory.com/entry/Python3-%EC%99%80-PyPy3-%EC%B0%A8%EC%9D%B4 https://choisblog.tistory.com/26 두 가지의 차이점을 찾아보니, 쉽게 말해서 Python3 는 CPython으로부터 구현 된 것이기 때문에, CPython은 인터프리터이면서 컴파일러다. 반면에 pypy3는 즉석으로 컴파일하는 방식이고, 인터프리트하면서 자주 쓰이는 코드를 캐싱하기 때문에 느린 실행 속도를 개선할 수 있다. 즉, PyP.. 2021. 12. 19. MLOps (머신러닝 오퍼레이션 자동화) 최근, 머신러닝에 대해서 이것저것 서칭을 하다가 MLOps에 관한 키워드가 많이 보여서 한번 알아보았다. 한 프로젝트 안에서 코드를 짜서 머신러닝을 돌려서 테스트를 해보는 것은 물론 중요한 부분이다. 하지만 이것이 실제로 어떻게 실생활에서 적용이 되고, 어떤 식으로 서비스가 이루어지는지 크게 보면 사소한 부분이라고 볼 수 있다고 한다. MLOps는 ML + Ops를 합친 용어로 머신러닝 모델 개발과 머신러닝 운영 Workflow의 간극을 줄이기 위한 분야이다. 크게 Model Development와 Model Prediction으로 나누는 관점으로 볼 수 있다. MLOps의 목표는 머신러닝 모델 개발과 머신러닝 모델 운영에서 사용되는 문제의 반복을 최소화 하면서 비즈니스 가치를 창출하는 것 모델링에 집중.. 2021. 11. 15. 이전 1 다음
