But what is a neural network? | Deep learning chapter 1
3Blue1Brown · 2017년 10월 5일
손글씨 숫자를 알아보는 신경망을 예로, 신경망의 구조를 그림으로 풀어낸다.
28×28 픽셀의 손글씨 숫자 이미지를 입력받아 0부터 9까지를 구분하는 신경망을 예로 든다. 784개의 입력 뉴런, 두 개의 은닉층, 10개의 출력 뉴런이 어떻게 연결되는지 보여 주고, 각 층이 선이나 고리 같은 부분 패턴을 잡아내길 기대한다는 직관을 설명한다. 이어 가중치와 편향, 활성화 함수를 행렬 곱 한 줄로 정리한다.
주요 내용 6가지
- 뉴런은 0과 1 사이의 숫자(활성값)를 담는 칸으로 본다
- 입력 784개 → 은닉층 16개 × 2 → 출력 10개 구조
- 층을 나누는 이유: 획 → 부분 모양 → 숫자로 조합되길 기대
- 가중치와 편향이 뉴런 사이의 연결 세기와 문턱을 정한다
- 한 층에서 다음 층으로의 계산은 행렬 곱과 시그모이드로 표현된다
- 최근에는 시그모이드 대신 ReLU를 주로 쓴다는 설명