Korea Vision & Robotics

목차 1. CPU vs GPU 2. Deep Learning Frameworks 2.1 Pytorch 3. Static vs Dynamic Graphs 1. CPU vs GPU CPU와 GPU에 대해 이야기를 하자면 왼쪽 그림은 CPU 칩의 모습이고 오른쪽 그림은 GPU의 모습이다. 위 그래프는 x축은 모델, y축은 연산에 소요된 시간인데 성능이 하드웨어 크기에 비례하는 것인지 GPU(빨, 주)가 CPU(파)보다 훨씬 적은 시간이 소요됐다. 64~76배 차이가 있는데 무조건 GPU를 쓰는게 좋다는 것을 알 수 있다. 강의에서 말하기를 CPU에서는 병목 현상(bottleneck)이 발생할 수 있기 때문에 GPU를 사용하는게 좋고 데이터는 CPU에 저장하며, 모델은 GPU에서 작동하는 것이 좋다고 한다. 2..

목차 1. Stochastic Gradient Descent 1.1 SGD의 문제점 2. SGD + Momentum 3. Nesterov Momentum 4. AdaGrad 5. RMSProp 6. Adam 7. Learning rate 8. Second-order Optimization 9. Regularization 9.1 Model Ensembles 9.2 Dropout 9.3 Data Augmentation 9.4 Others 10. Tranfer Learning 1. Stochastic Gradient Descent SGD는 데이터를 미니 배치로 나눈 후, 데이터 전체를 한꺼번에 사용하여 모델의 가중치를 업데이트 하는것이 아닌 미니 배치마다 가중치를 업데이트하여 속도면에서 개선시킨 최적화(Opt..

Table of contents 1. Activation Function 1.1 Sigmoid 1.2 tanh 1.3 ReLU 1.4 Leaky ReLU 1.5 PReLU 1.6 ELU + SeLU + GeLU 2. Data Preprocessing 2.0 Preprocessing condition 2.1 Weight Initialization 2.1.1 small w 2.1.2 big w 2.1.3 Xavier Initialization 3. Batch Normalization 4. Learning Process 4.1 Hyperparameter Optimization 4.2 Cross Validation 4.2.1 Random Search vs Grid Search 본문 Kovi는 SSDC(Samsu..

Table of contents 1. Background 2. Receptive field 3. Convolution 4. CNN 4.1 Fully Connected Layer 4.2 Convolutional Layer 4.3 Output Size & padding 4.4 Pooling 1. Background CNN이 나오게 된 배경 CNN(Convolutional Neural Networks)의 개념이 나오기 전까지 우리는 Multi-layered Neural Network(이하 MLP, Multi Layer Perceptron)를 사용했었다. 기존에 존재하던 MLP를 이용하여 이미지를 처리하기 위해서는, 이미지를 1차원 벡터로 쭉 펼쳐야 했다. 즉 MLP를 사용하기 전에 많은 전처리 과정이 필요했습..

Table of contents 1. Introduction 1.1 Forward propagation 1.2 Backward propagation 1.3 computational graph 1.4 chain rule 1.5 Partial Derivative 2. Backward propagation 2.1 Backward propagation 2.2 Gradients for Vector 3. Neural Networks 3.1 Neural Networks 1. Introduction 미분을 통해 최적화를 하는 방법에는 크게 두가지가 있었습니다. Numerical gradient (수치적 미분) : 속도가 느리고 근사치를 찾는 방법임. Analytic gradient (해석적 미분) : 빠르고 정확하지만..

목차 1. Loss Function 1.1 Multiclass SVM loss 1.2 Hinge loss 2. Regularization 2.1 L2 Regularization 2.2 L1 Regularization 3. Softmax Classifier (Multinomial Logistic Regression) 4. Softmax VS. SVM 5. Optimization 6. Gradient Descent 6.1 Stochastic Gradient Descent 7. Image Feature 7.1 Color Histogram 7.2 Histogram of Oriented Gradients 7.3 Bag of Words 1. Loss Function Linear Classifier에서 이미지를 입력..

본 포스팅은 Stanford University에서 제공하는 CS231n_2017 유튜브 강의를 토대로 정리한 글입니다. https://youtu.be/OoUX-nOEjG0 목차 1. 이미지 분류(Image Classification)란? 1.1 디지털이미지란? 1.2 이미지에 관해 해결해야할 문제 2. 이미지 분류 모델 2.1 간단한 이미지 분류 모델 구현 2.2 데이터 기반 (data driven-approach) 2.3 NN 모델 2.4 KNN 모델 2.5 KNN 단점 3. 거리 함수(Distance Metric) 3.1 L1 함수 3.2 L2 함수 3.3 L1 vs L2 4. 파라미터와 하이퍼파라미터 (Parameter & Hyper parameter) 5. 교차검증 (cross-validate)..