'LLM' 검색 결과

GPT의 'T', 트랜스포머 안에서 데이터가 어떻게 흘러가는지 시각적으로 따라간다.

GPT라는 이름의 뜻에서 출발해, 문장이 토큰으로 쪼개지고 각 토큰이 벡터로 바뀌는 과정을 보여 준다. 벡터들이 어텐션 블록과 다층 퍼셉트론을 번갈아 지나며 문맥을 반영하게 되고, 마지막 벡터에서 다음 토큰의 확률 분포가 만들어지는 전체 흐름을 그림으로 설명한다. 어텐션의 세부 동작은 다음 편으로 넘긴다.

대규모 언어 모델이 무엇이고, 어디로 가고 있으며, 어떤 보안 문제가 있는지 한 시간에 정리한 강연.

안드레이 카파시가 일반 청중을 대상으로 한 강연을 다시 녹화한 영상이다. LLM을 '파라미터 파일 하나와 실행 코드 하나'로 설명하며 시작해, 인터넷 텍스트를 압축하듯 학습하는 사전 학습과 어시스턴트로 만드는 미세 조정을 구분한다. 후반부에는 도구 사용과 멀티모달 등 발전 방향을 'LLM 운영체제'라는 비유로 묶고, 탈옥·프롬프트 인젝션 같은 새로운 보안 위협을 소개한다.