Transformers, the tech behind LLMs | Deep Learning Chapter 5
3Blue1Brown · 2024년 4월 1일
GPT의 'T', 트랜스포머 안에서 데이터가 어떻게 흘러가는지 시각적으로 따라간다.
GPT라는 이름의 뜻에서 출발해, 문장이 토큰으로 쪼개지고 각 토큰이 벡터로 바뀌는 과정을 보여 준다. 벡터들이 어텐션 블록과 다층 퍼셉트론을 번갈아 지나며 문맥을 반영하게 되고, 마지막 벡터에서 다음 토큰의 확률 분포가 만들어지는 전체 흐름을 그림으로 설명한다. 어텐션의 세부 동작은 다음 편으로 넘긴다.
주요 내용 5가지
- Generative · Pre-trained · Transformer 각 단어의 의미
- 텍스트를 토큰으로 나누고 임베딩 벡터로 바꾸는 단계
- 임베딩 공간에서 방향이 의미를 담는다는 예시
- 마지막 벡터를 다음 단어 확률로 바꾸는 언임베딩과 소프트맥스
- 온도(temperature)가 출력의 무작위성을 조절하는 방식
