Attention은 Decoder로부터 Qurery가 나오고, Encoder로부터 Key와 Value값이 나와서 Encoder와 Decoder 사이의 상관관계를 바탕으로 특징을 추출하는것이다.
Self Attention 같은 경우는, 입력 데이터로부터 Query, Key, Value가 모두 계산이 되고, 데이터 내의 상관관계를 바탕으로 특징을 추출한다고 볼 수 있다.
'공부 > 하루 1단어' 카테고리의 다른 글
| Zero Shot, One Shot, Few Shot Learning (0) | 2022.01.04 |
|---|---|
| Python3 vs Pypy3 (0) | 2021.12.19 |
| MLOps (머신러닝 오퍼레이션 자동화) (0) | 2021.11.15 |
