Let's build GPT: from scratch, in code, spelled out.
Andrej Karpathy · 2023년 1월 17일
빈 파일에서 시작해 셰익스피어풍 글을 쓰는 작은 GPT를 직접 코딩한다.
셰익스피어 작품을 모은 작은 텍스트 데이터셋으로 문자 단위 언어 모델을 만든다. 가장 단순한 바이그램 모델에서 출발해 셀프 어텐션을 수식과 코드로 하나씩 도입하고, 멀티 헤드 어텐션·잔차 연결·레이어 정규화를 더해 트랜스포머 블록을 완성한다. 마지막에는 완성한 모델과 실제 GPT의 차이를 짚는다.
주요 내용 5가지
- 데이터 준비: 문자 단위 토큰화와 학습·검증 분리
- 바이그램 언어 모델로 기준선 만들기
- 행렬 연산으로 과거 토큰을 평균 내는 요령에서 셀프 어텐션 유도
- 멀티 헤드 어텐션과 피드포워드 층 추가
- 잔차 연결·레이어 정규화·드롭아웃으로 깊은 모델 학습시키기