Transformers, the tech behind LLMs | Deep Learning Chapter 5
3Blue1Brown · 2024년 4월 1일 게시
GPT의 'T', 트랜스포머 안에서 데이터가 어떻게 흘러가는지 시각적으로 따라간다.
핵심 줄거리
GPT라는 이름의 뜻에서 출발해, 문장이 토큰으로 쪼개지고 각 토큰이 벡터로 바뀌는 과정을 보여 준다. 벡터들이 어텐션 블록과 다층 퍼셉트론을 번갈아 지나며 문맥을 반영하게 되고, 마지막 벡터에서 다음 토큰의 확률 분포가 만들어지는 전체 흐름을 그림으로 설명한다. 어텐션의 세부 동작은 다음 편으로 넘긴다.
주요 내용
- 1Generative · Pre-trained · Transformer 각 단어의 의미
- 2텍스트를 토큰으로 나누고 임베딩 벡터로 바꾸는 단계
- 3임베딩 공간에서 방향이 의미를 담는다는 예시
- 4마지막 벡터를 다음 단어 확률로 바꾸는 언임베딩과 소프트맥스
- 5온도(temperature)가 출력의 무작위성을 조절하는 방식
영상에서 알 수 있는 정보
- 다음 단어 예측을 반복하는 것만으로 긴 글이 생성된다
- 모델의 파라미터 대부분은 행렬 곱에 쓰이는 가중치다
관련 키워드
요약 근거: 운영자 작성. 운영자 검수를 거쳐 공개되었습니다.
