Korea Vision & Robotics

목차 1. Stochastic Gradient Descent 1.1 SGD의 문제점 2. SGD + Momentum 3. Nesterov Momentum 4. AdaGrad 5. RMSProp 6. Adam 7. Learning rate 8. Second-order Optimization 9. Regularization 9.1 Model Ensembles 9.2 Dropout 9.3 Data Augmentation 9.4 Others 10. Tranfer Learning 1. Stochastic Gradient Descent SGD는 데이터를 미니 배치로 나눈 후, 데이터 전체를 한꺼번에 사용하여 모델의 가중치를 업데이트 하는것이 아닌 미니 배치마다 가중치를 업데이트하여 속도면에서 개선시킨 최적화(Opt..

Table of contents 1. Background 2. Receptive field 3. Convolution 4. CNN 4.1 Fully Connected Layer 4.2 Convolutional Layer 4.3 Output Size & padding 4.4 Pooling 1. Background CNN이 나오게 된 배경 CNN(Convolutional Neural Networks)의 개념이 나오기 전까지 우리는 Multi-layered Neural Network(이하 MLP, Multi Layer Perceptron)를 사용했었다. 기존에 존재하던 MLP를 이용하여 이미지를 처리하기 위해서는, 이미지를 1차원 벡터로 쭉 펼쳐야 했다. 즉 MLP를 사용하기 전에 많은 전처리 과정이 필요했습..

목차 1. Loss Function 1.1 Multiclass SVM loss 1.2 Hinge loss 2. Regularization 2.1 L2 Regularization 2.2 L1 Regularization 3. Softmax Classifier (Multinomial Logistic Regression) 4. Softmax VS. SVM 5. Optimization 6. Gradient Descent 6.1 Stochastic Gradient Descent 7. Image Feature 7.1 Color Histogram 7.2 Histogram of Oriented Gradients 7.3 Bag of Words 1. Loss Function Linear Classifier에서 이미지를 입력..

목차 결정 트리란 결정 트리 학습과 시각화 클래스 확률 추청 CART 훈련 알고리즘 계산 복잡도 지니 불순도 또는 엔트로피 규제 매개변수 회귀 불안정성 1. 결정 트리란 서보트벡터머신 (SVM)처럼 분류와 회귀 작업 그리고 다중출력 작업도 가능한 다재다능한 머신러닝 알고리즘 복잡한 데이터셋도 가능. 쉽게 말해 스무고개와 비슷한 원리이며 랜덤 포레스트의 기본 구성요소 이기도함 결정 트리는 직관적이고 결정 방식을 이해하기 쉬운 화이트박스 모델임 2. 결정트리(Decision Tree) 학습과 시각화 2.1 데이터 불러오기 import pandas as pd from sklearn.datasets import load_iris iris = load_iris() df = pd.DataFrame(iris.data..

목차 0. 학습 목표 1. 선형 회귀 2. 정규 방정식 3. 경사하강법 4. 로지스틱 회귀 0. 학습 목표 최적화(optimization)란, loss 함수(손실함수, 비용함수)를 최소화하는 parameter를 구하는 과정입니다. 딥러닝 네트워크에서는 예측값과 실제값을 loss 함수를 통해 비교하며 예측값과 실제값이 가까워지도록, 즉 loss 함수가 최소가 되도록 parameter를 업데이트합니다. 가장 간단한 모델 중 하나인 선형 회귀로부터 직접 계산할 수 있는 공식을 사용하여 훈련 세트에 대해 loss 함수를 최소화하는 parameter를 해석적으로 구합니다. 반복적인 최적화 방식-경사 하강법(gradient descent)-을 사용하여 parameter를 조금씩 바꾸면서 loss 함수를 최소화시키는..

last update. 2022/11/27 * 핸즈온 머신러닝에 나온 목차대로 진행하지 않았습니다. 분류의 종류에 대해 설명한 다음 성능 측정을 설명합니다. 목차 1. 분류란? 2. 분류의 종류 2.1 이진 분류 2.2 다중 분류 2.3 다중 레이블 분류 2.4 다중 출력 분류 3. 성능 측정 3.1 교차 검증 3.2 오차 행렬 3.3 정확도 3.4 정밀도 3.5 재현율 3.6 정밀도/재현율 트레이드 오프 3.7 ROC 곡선 3.8 F1 스코어 4. 에러 분석 1. 분류란? 분류는 대표적인 지도학습의 예시로 기존에 존재하는 데이터를 사용해 모델을 학습시킨 후, 새롭게 관측된 데이터를 학습된 모델을 이용해 어느 클래스에 속하는지 예측하는 것을 의미한다. 2. 분류의 종류 분류의 종류에는 크게 4가지가 있다..