밑바닥부터 시작하는 딥러닝
사이토 고키/개앞맵시
My Quotes before Read
오래전 "신경망이란 무엇일까?"에 대한 물음에 답해주었던 책
Key Topics to Remember
30 동적언어, 슬라이싱
37 원소별, 브로드캐스트
39 벡터, 행렬, 텐서
47 퍼셉트론, 뉴런, 노드, 가중치, 임계값, 저항
49 논리회로
52 편향
54 배타적 논리합
57 다층 퍼셉트론
63 신경망
66 활성화 함수
68 시그모이드 함수
75 비선형 함수
76 ReLU 함수
88 항등 함수
90 순전파, 분류, 회귀, 소프트맥스 함수
91 지수 함수, 자연상수
93 오버플로
94 nan
96 순전파, MNIST 데이터셋
98 원-핫 인코딩
101 정확도, 정규화, 전처리, 백색화
103 배치
110 종단간 기계학습, 훈련 데이터, 시험 데이터, 오버피팅
112 손실함수, 오차제곱합
113 교차 엔트로피 오차
122 수치 미분, 반올림 오차
123 중심 차분, 중앙 차분, 전방 차분, 해석적
126 편미분
127 기울기
130 안장점, 고원, 경사법, 경사 하강법, 경사 상승법
131 학습률
133 하이퍼파라미터
136 람다기법
137 확률적 경사 하강법, SGD
141 미니배치 학습
143 애폭
147 오차역전파법, 노드, 에지
150 순전파, 역전하, 국소적 계산
152 연쇄법칙, 합성함수
170 Affine/Sofrmax 계층
171 어파인 변환, 행렬의 내적
180 신경망 학습의 전체 그림
194 모멘텀
196 학습률 감소
197 AdaGrad, RMSProp, 지수이동평균
199 Adam
202 가중치 감소기법
204 기울기 소실
205 표현력 제한, Xavier 초깃값, He 초깃값, std(표준 편차)
210 배치 정규화
215 오버피팅
217 가중치 감소, 노름
219 드롭아웃
221 앙상블 학습, 검증 데이터
223 그리드 서치, 로그 스케일, 베이즈 최적화
227 CNN, 완전연결
229 특징 맵, 커널, 윈도우, 단일 곱셈-누산
232 패딩
233 스트라이드
240 풀링 계층
243 im2col
255 덩어리(블롭)
254 LeNet, AlexNet
261 딥러닝
265 데이터 확장
267 수용 영역
269 분류, 톱-5 오류, ㅍㅎㅎ
271 인셉션 구조, ResNet, 스킵 연결, 전이 학습, GPU 컴퓨팅,CUDA
276 분산 학습, CNTK
277 32비트 단정밀도, 64비트 배정밀고, 16비트 반정밀도
277 파스칼
279 R-CNN, 분할
282 NIC 모델, 순환 신경망
283 멀티모달 처리
285 DCGAN, GAN
286 SegNet
287 Deep G-Network(DQN)
How the Book Changed me?
코드나 수학 공식에 의존하기 보다는 기초 원리 설명에 중점을 두워서 입문자에게는 최고의 책이다. 차근차근 읽다보면 신경망 기초 이론에 대해 이해하게 된다.