But what is a neural network? | Deep learning chapter 1

핵심 줄거리

28×28 픽셀의 손글씨 숫자 이미지를 입력받아 0부터 9까지를 구분하는 신경망을 예로 든다. 784개의 입력 뉴런, 두 개의 은닉층, 10개의 출력 뉴런이 어떻게 연결되는지 보여 주고, 각 층이 선이나 고리 같은 부분 패턴을 잡아내길 기대한다는 직관을 설명한다. 이어 가중치와 편향, 활성화 함수를 행렬 곱 한 줄로 정리한다.

주요 내용

1. 1뉴런은 0과 1 사이의 숫자(활성값)를 담는 칸으로 본다
2. 2입력 784개 → 은닉층 16개 × 2 → 출력 10개 구조
3. 3층을 나누는 이유: 획 → 부분 모양 → 숫자로 조합되길 기대
4. 4가중치와 편향이 뉴런 사이의 연결 세기와 문턱을 정한다
5. 5한 층에서 다음 층으로의 계산은 행렬 곱과 시그모이드로 표현된다
6. 6최근에는 시그모이드 대신 ReLU를 주로 쓴다는 설명

관련 키워드