교육·학습

손글씨 숫자를 알아보는 신경망을 예로, 신경망의 구조를 그림으로 풀어낸다.

28×28 픽셀의 손글씨 숫자 이미지를 입력받아 0부터 9까지를 구분하는 신경망을 예로 든다. 784개의 입력 뉴런, 두 개의 은닉층, 10개의 출력 뉴런이 어떻게 연결되는지 보여 주고, 각 층이 선이나 고리 같은 부분 패턴을 잡아내길 기대한다는 직관을 설명한다. 이어 가중치와 편향, 활성화 함수를 행렬 곱 한 줄로 정리한다.

빈 파일에서 시작해 셰익스피어풍 글을 쓰는 작은 GPT를 직접 코딩한다.

셰익스피어 작품을 모은 작은 텍스트 데이터셋으로 문자 단위 언어 모델을 만든다. 가장 단순한 바이그램 모델에서 출발해 셀프 어텐션을 수식과 코드로 하나씩 도입하고, 멀티 헤드 어텐션·잔차 연결·레이어 정규화를 더해 트랜스포머 블록을 완성한다. 마지막에는 완성한 모델과 실제 GPT의 차이를 짚는다.

스티브 잡스가 2005년 스탠퍼드 졸업식에서 들려준 세 가지 이야기.

잡스는 자신의 인생에서 세 가지 이야기를 꺼낸다. 대학을 그만두고 청강한 서체 수업이 훗날 매킨토시로 이어진 '점을 잇는 일', 자신이 만든 애플에서 쫓겨난 뒤 다시 시작한 '사랑과 상실', 그리고 암 진단을 받고 생각하게 된 '죽음'이다. 연설은 'Stay Hungry. Stay Foolish.'라는 말로 끝난다.

미루는 사람의 머릿속에서 벌어지는 일을 그림 세 장으로 설명하는 TED 강연.

블로거 팀 어번이 논문을 마감 직전에 몰아 쓴 경험으로 이야기를 시작한다. 미루는 사람의 뇌에는 '합리적 의사결정자' 옆에 '즉각적 만족 원숭이'가 있고, 마감이 닥쳐야만 '패닉 괴물'이 나타나 원숭이를 쫓아낸다고 설명한다. 후반부에는 마감이 없는 일에서의 미루기가 더 큰 문제라고 말한다.

학교 교육이 아이들의 창의성을 길러 주기보다 깎아낸다고 주장하는 켄 로빈슨의 TED 강연.

켄 로빈슨은 창의성이 읽고 쓰는 능력만큼 중요하며 같은 비중으로 다뤄야 한다고 말한다. 전 세계 교육 제도가 수학과 언어를 위에, 예술을 아래에 두는 같은 서열을 갖고 있고, 틀리는 것을 두려워하게 만들어 창의성을 잃게 한다고 지적한다. 여러 일화를 유머와 함께 들려주며, 안무가 질리언 린의 어린 시절 이야기로 마무리한다.

설치부터 클래스까지, 파이썬을 처음 배우는 사람을 위한 4시간 반짜리 전체 강의.

파이썬과 편집기를 설치하는 것으로 시작해 변수, 문자열, 숫자, 리스트 같은 기본 자료형을 차례로 다룬다. 조건문과 반복문, 함수, 딕셔너리를 배운 뒤 계산기와 숫자 맞히기 게임 같은 작은 프로그램을 만들어 본다. 후반부에는 파일 입출력, 모듈, 클래스와 상속까지 이어진다.