Abstract본 논문에서는학습 데이터가 전혀 없는 객체라도 이미지에서 인식할 수 있는 Zero-Shot Learning(ZSL) 모델을 제안학습 데이터가 풍부한 클래스에 대해서는 SOTA 수준의 성능을 달성, 동시에 학습 데이터가 없는 클래스에 대해서도 합리적인 성능을 보임먼저 의미 공간(semantic space)에서의 이상치 탐지를 수행한 뒤, 두 개의 분리된 인식 모델을 사용하는 방식으로 달성또한 수작업으로 정의된 의미적 특징이 전혀 필요로 하지 않는다는 장점 1. Introduction현실 세계에는 라벨이 없는 데이터가 매우 풍부하며, 새로운 제품이나 기술의 등장으로 인해 기존에 학습되지 않은 시각적 범주가 지속적으로 생성된다. 이러한 환경에서 기존의 지도학습 기반 분류기는 학습된 클래스만 예측..

Abstractfeed forward CNN을 위한 간단하면서 효과적인 attention module인 CBAM을 제안.feature map이 주어지면 CBAM은 채널과 공간이라는 두 가지 개별 차원을 따라 attention map을 순차적으로 추론.CBAM은 가볍고 일반적인 모듈이기 때문에 모든 CNN에 원활하게 통합될 수 있으며 end-to-end 학습이 가능하다. Keywords : Object Detection, attention mechanism, gated convolution  IntroductionAttention은 어디에 집중해야 하는지 알려줄 뿐만 아니라 관심 표현도 향상시킨다.Attention mechanism을 사용하여 중요한 feature에 집중하고 불필요한 feature를 억제하..

Abstract본 논문에서는 Deep neural network에서 Attention의 효과에 중점을 둔다.모든 feed forward convolution 신경망과 통합할 수 있는 BAM(Bottleneck Attention Module)을 제시.BAM은 channel과 spatial 두 가지 별도의 경로를 따라 Attention map을 추론.BAM은 feature map의 다운샘플링이 발생하는 모델의 각 병목 지점(bottleneck)에 배치.end-to-end 방식으로 학습할 수 있다.  Introduction딥러닝은 분류, 감지, 분할 및 제어 문제를 포함한 일련의 패턴 인식을 위한 강력한 도구였다.optimizer 설계, 적대적 훈련 방식, 탐지를 위한 2단계 아키텍처등과 같은 작업별로 다양한..

ResNet 2015년 ILSVRC에서 우승, MS 개발. 2014년 GooLeNet이 22개 층인데 반면 ResNet은 152개 층. (층수가 깊어졌다) 깊게 하면 무조건 성능이 좋은가? -> 아니다! Gradient Vanishing/Exploding 파라미터 개수가 너무 많아지는 문제 발생 Residual Block 기존 일반적인 CNN은 입력 데이터(x)를 타겟값(y)으로 mapping 하는 함수 H(x)를 찾는 것이 목표이다. H(x) = ReLU ( w2 * ( ReLU ( w1 * x ) ) ) (w는 가중치) 이때, H(x)와 y의 차이를 최소화하는 방향으로 학습하게 된다. ResNet은 기존 CNN과 달리 입력값을 출력 값에 더하는 지름길(shortcut or skip-connection..

VGGNet VGGNet 연구팀은 망의 깊이가 깊을 수록 model의 성능에 어떤 영향을 끼치는지 연구. 5x5 Conv를 한번 하는것 보다, 3x3 Conv를 두번 하는것이 망의 깊이가 깊어지고, parameter 수도 적어짐. VGGNet은 모든 Convolution filter size를 3x3으로 고정해서 사용. Pytorch Code import torch import torch.nn as nn def CBR2d(in_channels, out_channels, _kernal_size, _stride, _padding): return nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=_kernal_size, stride=_stride..

AlexNet 기본 구조 AlexNet은 5개의 Convolution layer와 3개의 fully connected layer로 구성 되어있다. 입력 영상의 크기로 227x227x3을 사용. (3은 RGB) 성능 개선을 위해 ReLU, DropOut layer를 활용. Pytorch Code import torch import torch.nn as nn def CBR2d(in_channels, out_channels, _kernal_size, _stride, _padding): return nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=_kernal_size, stride=_stride, padding=_padding), nn.Batc..