Dropout 학습 중 Overfitting을 막기 위한 방법 중 하나이다. Hidden layer의 일부 유닛의 동작을 랜덤 하게 생략하여 학습 효율을 높이는 것. Overfitting 학습 데이터에 너무 특화되어 모델이 학습하지 않은 데이터에 대해 일반화되지 못한 경우를 overfitting이라고 한다. 학습 중 아래 그림과 같이 train loss는 점차 줄어들고 있지만 학습 데이터 외의 loss값, 즉 val loss가 큰 폭으로 흔들리거나 증가한다면 이는 학습 데이터에는 적합해지지만 그 외 데이터에는 오히려 잘못된 예측을 한다는 얘기가 된다. 이런 상황을 overfitting 되었다고 할 수 있다. 이러한 overrfitting을 막기위한 방법으로 다음과 같은 방법들이 있다. 데이터의 양을 늘리..

Anomaly Detection? Anomaly Detection(이상 탐지)란 normal, abnormal(정상, 비정상)을 구별하는 Detection을 의미한다. Supervised Anomaly Detection Supervised Anomaly Detection, 정상 데이터셋과 비정상 데이터셋 모두를 학습시키는 것을 의미한다. 정상, 비정상을 모두 학습시키기 때문에 다른 Anomaly Detection에 비해 정확도가 높다. 하지만 실제 산업현장에서는 적정량의 비정상 제품의 데이터를 취득하기가 매우 어렵다는 문제가 있다. 10,000개의 제품을 생산할 때 비정상 제품이 1개 나온다면(실제론 더 안 나오지만...), 100개의 비정상 샘플을 취득하기 위해선 대략 10,000,00개의 제품을 생산..

PointNet PointNet은 3D data인 point data를 Classification, Segmentation 하기 위한 모델이다. 2D data와 달리 3D data는 정규화 데이터가 아니고, 불규칙하게 얻어진다. (2d는 행렬로 regular 하게 얻어진다) 특정 rendering 없이 point data를 다루기 위해서는 2가지 성질을 만족해야 한다. 1. Permutation invariant 2. Rigid motion invariant Permutation invariant 3d point는 특정 순서 없이 주어지기 때문에 어떠한 순서로 오더라도 output이 달라지면 안 된다. 이를 Permutation invariant(직역하면 순열 불변)라고 한다. PointNet에서는 Pe..

Dilated Convolution? Dilated Convolution은 위와 같이 필터 내부에 zero padding을 추가하여 강제로 receptive field를 늘려주는 convolution이다. Dilated Convolution, 왜 사용할까? (Receptive field) convolution을 할 때 필터가 수용하는 영역(receptive field)이 넓을수록 이미지의 전체적인 특징, 문맥적(context)인 특징을 잡아내기 수월한데, 그렇다고 필터의 크기를 넓히게 되면 그만큼 가중치가 늘게 되고 overfitting이 발생할 수 있다. Dilated Convolution은 receptive field는 넓혀주면서 파라미터 개수는 유지시켜주는 장점이 있다. i-dilated convo..

SegNet SegNet은 Encoder-Decoder 유형의 구조를 사용하는 Image Segmentation 모델이다. UNet과 마찬가지로 FCN의 구조를 이용했다고 볼 수 있다. Encoder SegNet 구조의 왼쪽 부분을 Encoder라 하며, Encoder에서는 VGG16의 13개 Convolution Layer을 동일하게 사용한다. Convolution, Pooling 구조들 통해 Input Image의 특징 맵(featrue map)을 추출하게 된다. Decoder 오른쪽 부분을 Decoder라고 한다. Decoder에서는 Encoder에서 뽑은 특징 맵을 Upsampling과 Convolution을 하여 작아진 이미지를 원래 크기로 되돌린다. Upsampling 후 마지막 Layer에서..

UNet UNet은 FCN(Fully Convolutional Network)을 수정하고 확장한 End-to-End 모델로, 모델 구조가 U 모양이라 U-Net이라 명칭 되었다. 2021/01/07 - [DeepLearning/개념] - [Segmentation] FCN, Fully Convolutional Network [Segmentation] FCN, Fully Convolutional Network Segmentation? Segmentation이란 이미지상의 물체들을 픽셀 단위로 분할, 검출하는 것이다. Segmentation은 구체적으로 Sementic Segmentation과 Instance Segmentation으로 나뉜다. Sementic Segmentation은.. wjs7347.tis..