3Blue1Brown

GPT의 'T', 트랜스포머 안에서 데이터가 어떻게 흘러가는지 시각적으로 따라간다.

GPT라는 이름의 뜻에서 출발해, 문장이 토큰으로 쪼개지고 각 토큰이 벡터로 바뀌는 과정을 보여 준다. 벡터들이 어텐션 블록과 다층 퍼셉트론을 번갈아 지나며 문맥을 반영하게 되고, 마지막 벡터에서 다음 토큰의 확률 분포가 만들어지는 전체 흐름을 그림으로 설명한다. 어텐션의 세부 동작은 다음 편으로 넘긴다.

손글씨 숫자를 알아보는 신경망을 예로, 신경망의 구조를 그림으로 풀어낸다.

28×28 픽셀의 손글씨 숫자 이미지를 입력받아 0부터 9까지를 구분하는 신경망을 예로 든다. 784개의 입력 뉴런, 두 개의 은닉층, 10개의 출력 뉴런이 어떻게 연결되는지 보여 주고, 각 층이 선이나 고리 같은 부분 패턴을 잡아내길 기대한다는 직관을 설명한다. 이어 가중치와 편향, 활성화 함수를 행렬 곱 한 줄로 정리한다.