[1hr Talk] Intro to Large Language Models
Andrej Karpathy · 2023년 11월 23일
대규모 언어 모델이 무엇이고, 어디로 가고 있으며, 어떤 보안 문제가 있는지 한 시간에 정리한 강연.
안드레이 카파시가 일반 청중을 대상으로 한 강연을 다시 녹화한 영상이다. LLM을 '파라미터 파일 하나와 실행 코드 하나'로 설명하며 시작해, 인터넷 텍스트를 압축하듯 학습하는 사전 학습과 어시스턴트로 만드는 미세 조정을 구분한다. 후반부에는 도구 사용과 멀티모달 등 발전 방향을 'LLM 운영체제'라는 비유로 묶고, 탈옥·프롬프트 인젝션 같은 새로운 보안 위협을 소개한다.
주요 내용 6가지
- LLM은 파라미터 파일과 이를 실행하는 짧은 코드로 이뤄진다
- 사전 학습은 방대한 인터넷 텍스트를 손실 압축하는 것에 비유된다
- 미세 조정으로 문서 생성기를 질문에 답하는 어시스턴트로 바꾼다
- 브라우저·계산기·코드 실행 등 도구를 쓰는 방향으로 발전 중
- LLM을 새로운 운영체제의 커널 프로세스로 보는 관점
- 탈옥, 프롬프트 인젝션, 데이터 오염 등 보안 문제 사례