Loss Function?딥러닝 모델에서 모델의 output인 예측값과 실제 정답(ground truth)인 실제값이 얼마나 유사한지 판단하는 기준.즉, 모델이 예측한 값과 실제 정답의 차이를 정량화하는 함수.이 loss function을 통해 나온 손실값을 최소화하는 방향으로 모델 파라미터를 업데이트. (학습) 회귀 문제 (Regression)MSE (Mean Squared Error)평균 제곱 오차로 예측값과 실제값의 차이의 제곱으로 손실을 계산하는 함수.오차값에 제곱을 하기 때문에 이상치에 민감하다. MAE (Mean Absolute Error)평균 절대값 오차로 예측값과 실제값 차이의 절대값으로 손실을 계산하는 함수.MSE에 비해 이상치에 둔감하다.  분류 문제 (Classification)BCE..

Supervised Learning Supervised Learning(지도 학습)은 레이블(정답)이 지정된 데이터셋을 사용하여 정의되는 머신 러닝 접근 방식이다. 지도 학습은 아래 두 가지 유형의 문제로 구분한다. Classification(분류) - 분류 문제는 알고리즘을 사용하여 개와 고양이를 분리하는 것과 같이 데이터를 특정 범주에 할당한다. - Linear classifiers, support vector machines, decision trees, random forest 등... Regression(회귀) - 회귀는 예측하는 값이 Continuous 한 것을 말한다. - 수치 값을 예측하는데 유용하다. - linear regression, logistic regression, polynom..

1x1 conv layer의 장점 Channel(Filter) 수 조절 연산량 감소 비선형성 Channel 수 조절, 연산량 감소 1x1 conv layer를 사용하면 output size는 변함이 없지만 channel(filter)의 수를 조절할 수 있다. 이 channel 수를 적절히 조절하면 파라미터를 효과적으로 줄일 수 있다. 파라미터 수 = kernel size * kernel size * input channel * output channel 파라미터가 감소됨에 따라 같은 결과라도 1x1 conv layer를 사용하는 편이 연산량 감소에도 득이 됨을 알 수 있다. 비선형성 1x1 conv layer를 사용함에 따라 그만큼 ReLU Activation을 더 사용할 수 있게되는데, 이 때문에 모델..

Dropout 학습 중 Overfitting을 막기 위한 방법 중 하나이다. Hidden layer의 일부 유닛의 동작을 랜덤 하게 생략하여 학습 효율을 높이는 것. Overfitting 학습 데이터에 너무 특화되어 모델이 학습하지 않은 데이터에 대해 일반화되지 못한 경우를 overfitting이라고 한다. 학습 중 아래 그림과 같이 train loss는 점차 줄어들고 있지만 학습 데이터 외의 loss값, 즉 val loss가 큰 폭으로 흔들리거나 증가한다면 이는 학습 데이터에는 적합해지지만 그 외 데이터에는 오히려 잘못된 예측을 한다는 얘기가 된다. 이런 상황을 overfitting 되었다고 할 수 있다. 이러한 overrfitting을 막기위한 방법으로 다음과 같은 방법들이 있다. 데이터의 양을 늘리..

Dilated Convolution? Dilated Convolution은 위와 같이 필터 내부에 zero padding을 추가하여 강제로 receptive field를 늘려주는 convolution이다. Dilated Convolution, 왜 사용할까? (Receptive field) convolution을 할 때 필터가 수용하는 영역(receptive field)이 넓을수록 이미지의 전체적인 특징, 문맥적(context)인 특징을 잡아내기 수월한데, 그렇다고 필터의 크기를 넓히게 되면 그만큼 가중치가 늘게 되고 overfitting이 발생할 수 있다. Dilated Convolution은 receptive field는 넓혀주면서 파라미터 개수는 유지시켜주는 장점이 있다. i-dilated convo..

mAP? mAP는 컴퓨터 비전 분야에서 Detection을 할 때 알고리즘의 성능을 평가할 때 쓰이는 지표이다. mAP 설명에 앞서 알아야 하는 개념이 있다. Precision Recall IoU Precision Precision은 정밀도라고 불리며, 모든 검출 결과 중 옳게 검출한 비율을 의미한다. 예를 들어 모델이 검출해낸 Object가 10개, 그중에 8개가 옳게 검출해낸 것이라면 Precision = 0.8. Recall Recall은 재현율이라고 하며, 검출해내야 하는 물체들 중에서 제대로 검출된 것의 비율이다. 예를 들어 라벨이 붙어있는 Object가 10개일 때, 그중 4개를 검출해 낸다면 Recall = 0.4. IoU 물체를 검출할 때 물체를 옳게 검출한 건지 아닌지 결정해주는 기준이 ..