Let's build GPT: from scratch, in code, spelled out.
Andrej Karpathy · 2023년 1월 17일 게시
빈 파일에서 시작해 셰익스피어풍 글을 쓰는 작은 GPT를 직접 코딩한다.
핵심 줄거리
셰익스피어 작품을 모은 작은 텍스트 데이터셋으로 문자 단위 언어 모델을 만든다. 가장 단순한 바이그램 모델에서 출발해 셀프 어텐션을 수식과 코드로 하나씩 도입하고, 멀티 헤드 어텐션·잔차 연결·레이어 정규화를 더해 트랜스포머 블록을 완성한다. 마지막에는 완성한 모델과 실제 GPT의 차이를 짚는다.
주요 내용
- 1데이터 준비: 문자 단위 토큰화와 학습·검증 분리
- 2바이그램 언어 모델로 기준선 만들기
- 3행렬 연산으로 과거 토큰을 평균 내는 요령에서 셀프 어텐션 유도
- 4멀티 헤드 어텐션과 피드포워드 층 추가
- 5잔차 연결·레이어 정규화·드롭아웃으로 깊은 모델 학습시키기
영상에서 알 수 있는 정보
- 만든 모델은 디코더만 있는 트랜스포머다
- ChatGPT는 같은 구조를 훨씬 크게 사전 학습한 뒤 미세 조정한 것이라는 설명
관련 키워드
요약 근거: 운영자 작성. 운영자 검수를 거쳐 공개되었습니다.
