1장 시작하며 _ 1
1.1 신경망 연구의 역사 3
1.1.1 다층 신경망에 대한 기대와 실망 3
1.1.2 다층 신경망의 사전훈련 4
1.1.3 자질에 대한 학습 6
1.1.4 딥 러닝의 융성 7
1.2 이 책의 구성 9

2장 앞먹임 신경망 _ 11
2.1 유닛의 출력 13
2.2 활성화 함수 15
2.3 다층 신경망 18
2.4 출력층의 설계와 오차함수 21
2.4.1 학습의 얼개 21
2.4.2 회귀 22
2.4.3 이진 분류 23
2.4.4 다클래스 분류 25

3장 확률적 경사 하강법 _ 29
3.1 경사 하강법 31
3.2 확률적 경사 하강법 33
3.3 ‘미니배치’의 이용 35
3.4 일반화 성능과 과적합 36
3.5 과적합을 완화시키는 방법 38
3.5.1 규제화 38
3.5.2 가중치 감쇠 39
3.5.3 드롭아웃 40
3.6 학습을 위한 트릭 43
3.6.1 데이터 정규화 43
3.6.2 데이터 확장 45
3.6.3 여러 신경망의 평균 45
3.6.4 학습률의 결정 방법 46
3.6.5 모멘텀 48
3.6.6 가중치의 초기화 49
3.6.7 샘플의 순서 50

4장 역전파법 _ 53
4.1 기울기 계산의 어려움 55
4.2 2층으로 구성된 신경망의 계산 57
4.3 다층 신경망으로 일반화 60
4.4 경사 하강법의 전체 알고리즘 63
4.4.1 출력층의 델타 63
4.4.2 순전파와 역전파의 행렬 계산 65
4.4.3 기울기의 차분근사 계산 67
4.5 기울기 소실 문제 68

5장 자기부호하기 _ 71
5.1 개요 73
5.2 자기부호화기의 설계 74
5.2.1 출력층의 활성화 함수와 오차함수 74
5.2.2 가중치 공유 75
5.3 자기부호화기의 동작 76
5.3.1 데이터를 나타내는 특징을 학습 76
5.3.2 주성분 분석과의 관계 78
5.4 희소 규제화 80
5.4.1 데이터의 과완비한 표현 80
5.4.2 최적화 83
5.4.3 희소 규제화의 효과 85
5.5 데이터의 백색화 87
5.6 딥 뉴럴넷의 사전훈련 92
5.7 그 외의 자기부호화기 94
5.7.1 심층 자기부호화기 94
5.7.2 디노이징 자기부호화기 95

6장 합성곱 tlsruda아 _ 99
6.1 단순 세포와 복잡 세포 101
6.2 전체적인 구조 104
6.3 합성곱 105
6.3.1 정의 105
6.3.2 합성곱의 작용 106
6.3.3 패딩 107
6.3.4 스트라이드 108
6.4 합성곱층 109
6.5 풀링층 112
6.6 정규화층 115
6.6.1 국소 콘트라스트 정규화 115
6.6.2 단일 채널 이미지의 정규화 116
6.6.3 다채널 이미지의 정규화 118
6.7 기울기의 계산 119
6.8 실제 예: 물체 유형 인식 121

7장 재귀 신경망 _ 135
7.1 연속열 데이터의 분류 137
7.2 RNN의 구조 139
7.3 순전파 계산 142
7.4 역전파 계산 144
7.5 장·단기기억 147
7.5.1 RNN의 기울기 소실 문제 147
7.5.2 LSTM의 개요 148
7.5.3 순전파 계산 149
7.5.4 역전파 계산 151
7.6 입력과 출력의 연속열 길이가 다른 경우 153
7.6.1 은닉 마르코프 모델 153
7.6.2 커넥셔니스트 시계열 분류 154

8장 볼츠만 머신 _ 161
8.1 데이터의 생성 모델 163
8.2 볼츠만 머신 164
8.2.1 확률적 구조 164
8.2.2 학습 166
8.3 깁스 샘플링 168
8.4 은닉 변수를 갖는 볼츠만 머신 170
8.4.1 확률적 구조 170
8.4.2 학습 171
8.5 제약 볼츠만 머신 173
8.5.1 확률적 구조 173
8.5.2 조건부 분포 174
8.5.3 RBM과 자기부호화기 175
8.6 RBM의 학습 176
8.6.1 깁스 샘플링을 사용한 기울기 계산 176
8.6.2 대조적 발산(CD) 178
8.6.3 CD의 실제 적용 180
8.6.4 지속적 CD 182
8.7 그 외의 유닛 183
8.7.1 가우시안 유닛 183
8.7.2 ReLU 184
8.8 딥 빌리프 네트워크 186
8.9 딥 볼츠만 머신 188
8.10 성능 비교 191

참고문헌 194
찾아보기 199