반응형 rotation matrix1 positional encoding이란 무엇인가 Transformer model을 살펴보면, positional encoding이 적용된다. 다음 그림은 transformer 모델에 대한 구조도 인데, positional encoding을 찾아볼 수 있다. 출처는 https://www.tensorflow.org/tutorials/text/transformer 이다. transformer 모델에 대해 공부하면서, 가장 이해가 안 갔던 부분이 이 positional encoding이었는데, 한 블로그를 통해 이해에 도움을 얻을 수 있었다. 해당 블로그는 다음 링크를 통해 들어갈 수 있으며, 본 포스팅은 해당 블로그의 글에 대한 약간의 번역과 필자의 이해가 담겨있다. https://kazemnejad.com/blog/transformer_architectu.. 2020. 2. 20. 반응형 이전 1 다음
