IT·AI

손글씨 숫자를 알아보는 신경망을 예로, 신경망의 구조를 그림으로 풀어낸다.

28×28 픽셀의 손글씨 숫자 이미지를 입력받아 0부터 9까지를 구분하는 신경망을 예로 든다. 784개의 입력 뉴런, 두 개의 은닉층, 10개의 출력 뉴런이 어떻게 연결되는지 보여 주고, 각 층이 선이나 고리 같은 부분 패턴을 잡아내길 기대한다는 직관을 설명한다. 이어 가중치와 편향, 활성화 함수를 행렬 곱 한 줄로 정리한다.

GPT의 'T', 트랜스포머 안에서 데이터가 어떻게 흘러가는지 시각적으로 따라간다.

GPT라는 이름의 뜻에서 출발해, 문장이 토큰으로 쪼개지고 각 토큰이 벡터로 바뀌는 과정을 보여 준다. 벡터들이 어텐션 블록과 다층 퍼셉트론을 번갈아 지나며 문맥을 반영하게 되고, 마지막 벡터에서 다음 토큰의 확률 분포가 만들어지는 전체 흐름을 그림으로 설명한다. 어텐션의 세부 동작은 다음 편으로 넘긴다.

대규모 언어 모델이 무엇이고, 어디로 가고 있으며, 어떤 보안 문제가 있는지 한 시간에 정리한 강연.

안드레이 카파시가 일반 청중을 대상으로 한 강연을 다시 녹화한 영상이다. LLM을 '파라미터 파일 하나와 실행 코드 하나'로 설명하며 시작해, 인터넷 텍스트를 압축하듯 학습하는 사전 학습과 어시스턴트로 만드는 미세 조정을 구분한다. 후반부에는 도구 사용과 멀티모달 등 발전 방향을 'LLM 운영체제'라는 비유로 묶고, 탈옥·프롬프트 인젝션 같은 새로운 보안 위협을 소개한다.

빈 파일에서 시작해 셰익스피어풍 글을 쓰는 작은 GPT를 직접 코딩한다.

셰익스피어 작품을 모은 작은 텍스트 데이터셋으로 문자 단위 언어 모델을 만든다. 가장 단순한 바이그램 모델에서 출발해 셀프 어텐션을 수식과 코드로 하나씩 도입하고, 멀티 헤드 어텐션·잔차 연결·레이어 정규화를 더해 트랜스포머 블록을 완성한다. 마지막에는 완성한 모델과 실제 GPT의 차이를 짚는다.

2016년 서울, 이세돌 9단과 알파고의 다섯 판 대국을 따라가는 다큐멘터리.

딥마인드 팀이 바둑 인공지능 알파고를 개발해 유럽 챔피언 판후이와 대국하고, 이어 서울에서 이세돌 9단과 다섯 판 승부를 벌이기까지의 과정을 담았다. 개발진의 긴장, 해설자들의 반응, 대국을 치르는 이세돌 9단의 표정을 번갈아 보여 준다. 결과는 알파고의 4승 1패였다.

설치부터 클래스까지, 파이썬을 처음 배우는 사람을 위한 4시간 반짜리 전체 강의.

파이썬과 편집기를 설치하는 것으로 시작해 변수, 문자열, 숫자, 리스트 같은 기본 자료형을 차례로 다룬다. 조건문과 반복문, 함수, 딕셔너리를 배운 뒤 계산기와 숫자 맞히기 게임 같은 작은 프로그램을 만들어 본다. 후반부에는 파일 입출력, 모듈, 클래스와 상속까지 이어진다.