웅's blog

DeViSE:A Deep Visual-Semantic Embedding Model

woongs_93 — Tue, 12 May 2026 13:26:45 +0900

Abstract

비전 인식(vision recognition)은 카테고리 수가 증가함에 따라 라벨이 붙은 이미지 학습 데이트를 확보하기 매우 어려움
이에 대한 해결 방안으로 본 논문에서는 주석이 없는 텍스트에서 추출된 의미적(semantic) 정보를 함께 활용하여 객체를 인식하도록 학습된 새로운 Deep Visual-Semantic Embedding 모델을 제안
1000개 클래스를 구분하는 ImageNet 객체 인식 챌린지에서 당시 SOTA 모델과 동등한 성능을 달성
또한 오답을 예측하더라도 좀 더 의미적으로 타당한 오답을 예측

Introdction

기존 비전 인식 시스템의 한계

기존 비전 인식은 N-Way 이산 분류로 이미지를 정해진 N개의 클래스로만 할당하여 문제를 해결
이러한 방식은 N개의 범주를 넘어서 시스템을 확장하지 못하는 한계
또한 모든 라벨을 서로 단절되고 전혀 관련 없는 것으로 취급

DeViSE 제안

이미지 뿐 아니라, 규모가 큰 주석 없는 텍스트 데이터에서 추출한 의미론적 정보를 함께 학습하는 방식 제안
텍스트 데이터를 활용하여 라벨 간의 의미론적 관계를 학습하고 이미지를 풍부한 의미론적 임베딩 공간(sematic embedding space)에 매핑

주요 성과 및 특징

기존 SOTA 모델들과 비슷한 성능을 내면서도, 오류를 범할 때는 의미론적으로 터무니없는 실수를 덜 하게 됨
시각적 및 의미론적 유사성을 결합하여 학습 중에는 본 적 없는 객체 카테고리의 라벨도 정확하게 예측 (Zero-shot)
단 1000개의 카테고리로 훈련된 모델이 20000개의 새로운 시각적 카테고리를 예측 (Zero-shot)

Proposed Approach

제안하는 DeViSE의 학습 방법을 3단계로 나누어 설명.

제안 구조

1. Language Model Pre-training (언어 모델 사전 학습)

Wikipedia와 같은 대규모 텍스트 데이터를 사용하여 skip-gram 언어 모델을 사전 학습
skip-gram은 중심 단어로부터 주변 단어들을 예측하도록 학습되며, 이를 통해 단어 간의 통계적 문맥 관계를 학습
그 결과, 의미적으로 유사한 단어들이 임베딩 공간에서 가까운 위치에 놓이도록, 각 단어를 고정 차원의 dense vector(예: 500 또는 1000차원)로 매핑.

2. Visual Model Pre-training (시각 모델 사전 학습)

당시 ILSVRC 2012에서 우승한 DeepCNN 모델 구조를 채택하여 사전 학습
출력 계층으로 softmax를 거쳐 1000개의 객체 범주를 예측
사전 학습된 가중치들은 추후 통합 모델의 초기 가중치로 사용

3. Deep Visual-Semantic Embedding Model (DeViSE)

구조적 결합

DeViSE 모델은 사전 학습 된 두 가지 신경망을 결합하여 생성
언어 모델: 라벨 단어들을 목표 벡터 표현으로 매핑
시각 모델: 마지막에 있던 softmax 대신, 이미지 특성 벡터를 언어 모델과 동일한 차원(500 or 1000)으로 변환해주는 linear projection layer를 새롭게 추가

손실 함수

hinge rank loss

dot-product similarity와 hinge rank loss를 결합하여 손실 함수를 구성

hinge rank loss: 이미지에 대해 정답 라벨의 임베딩 유사도는 높이고, 다른 라벨들의 임베딩과는 유사도를 낮추도록 학습

테스트 및 추론 방식

추론 시, 입력된 새 이미지는 시각 모델과 변환 레이어를 거쳐 벡터로 표현
이후 임베딩 공간에서 이 이미지 벡터와 가장 가까운 텍스트 라벨들의 최근접 이웃 검색(nearest neighbor search)으로 찾아 이미지를 최종 판별

Results

ImageNet (ILSVRC) 2012 1K 결과

세 가지 모델 비교

Flat metric

k=1, 2일 때 softmax baseline이 더 높은 정확도, 그러나 k=5, 10에서는 1000차원 DeViSE 모델이 동등한 성능이 도달
DeViSE 성능이 softmax와 근접

Hierarchical metric

DeViSE 모델이 softmax baseline 보다 더 나은 의미적 일반화 성능을 보임 (k가 클수록 그 차이가 큼)

또한 DeViSE 모델과 Random embedding 모델 간의 성능 차이는, 모델 구조 자체 때문이 아닌 언어 모델이 학습한 구조화된 임베딩 덕분임을 보여줌

Generalization and Zero-Shot Learning

렌즈 관련 이미지에 대해 학습된 적 없음에도 다양한 렌즈 관련 라벨을 예측

softmax의 top-1 예측은 괜찮지만, 나머지 예측은 부정확 / DeViSE는 더 그럴듯한 예측 성공

DeViSE 모델의 뚜렷한 장점 중 하나는 Zero-shot learning 능력
DeViSE 모델은 학습하지 않은 다양한 라벨을 성공적으로 예측하고, 틀린 경우에도 정답과 의미적으로 가까운 예측을 함

Zero-Shot Learning Through Cross-Modal Transfer 리뷰

woongs_93 — Tue, 10 Mar 2026 17:42:50 +0900

Abstract

본 논문에서는

학습 데이터가 전혀 없는 객체라도 이미지에서 인식할 수 있는 Zero-Shot Learning(ZSL) 모델을 제안
학습 데이터가 풍부한 클래스에 대해서는 SOTA 수준의 성능을 달성, 동시에 학습 데이터가 없는 클래스에 대해서도 합리적인 성능을 보임
먼저 의미 공간(semantic space)에서의 이상치 탐지를 수행한 뒤, 두 개의 분리된 인식 모델을 사용하는 방식으로 달성
또한 수작업으로 정의된 의미적 특징이 전혀 필요로 하지 않는다는 장점

1. Introduction

현실 세계에는 라벨이 없는 데이터가 매우 풍부하며, 새로운 제품이나 기술의 등장으로 인해 기존에 학습되지 않은 시각적 범주가 지속적으로 생성된다. 이러한 환경에서 기존의 지도학습 기반 분류기는 학습된 클래스만 예측할 수 있다는 한계를 가진다.

본 논문은 자연어 기반의 의미적 지식(semantic knowledge)을 활용하여, 학습 데이터가 존재하지 않는 객체(unseen class)까지 분류할 수 있는 모델을 제안한다.

제안 모델은 학습된 클래스(seen class)와 학습되지 않은 클래스(unseen class)를 모두 예측할 수 있는 결합형 분류 모델로, 다음 두 가지 핵심 아이디어를 기반으로 한다.

1) 의미 공간(Semantic space)으로의 매핑
이미지를 단어로 구성된 의미 공간으로 매핑함으로써 시각 정보와 언어적 의미를 연결한다.
이 의미 공간은 대규모 비지도 텍스트 코퍼스에서 학습된 신경망 언어 모델을 통해 구축되며, 이미지 특징을 해당 공간에 투영함으로써 시각적 개념과 단어 간의 의미적 관계를 활용할 수 있다.

2) 이상치 탐지(Outlier detection)의 도입
일반적인 분류기는 입력 이미지가 반드시 학습된 클래스 중 하나에 속한다고 가정한다. 반면, 본 논문에서는 입력 이미지가 기존 학습 클래스의 분포에 속하는지 여부를 확률적으로 판단한다.
표준 분류기를 통해 학습 클래스 분포를 모델링하고, 해당 분포에서 벗어나는 샘플은 이상치(outlier)로 간주하여 보지 못한 클래스일 가능성을 평가한 뒤, 의미 공간 상의 정보를 기반으로 적절한 클래스를 할당한다.

Zero-Shot Learning

기존 Zero-Shot Learning 연구에서는 데이터(예: 특정 단어를 떠올리고 있는 사람의 fMRI 스캔)를 사람이 수작업으로 설계한 특징 공간으로 매핑한 뒤, 해당 의미적 특징을 이용해 분류를 수행하였다. 이러한 접근은 학습 데이터가 없는 단어에 대해서도 의미적 특징을 예측할 수 있으며, 여러 zero-shot 클래스 간의 구분 실험을 가능하게 한다.

그러나 기존 방법들은 테스트 인스턴스가 학습된 클래스(seen class)인지, 혹은 학습되지 않은 클래스(unseen class)인지를 구분하지 못한 채, 오직 unseen 클래스 집합 내에서만 분류를 수행한다는 한계를 가진다. 즉, 실제 환경에서 요구되는 seen/unseen 클래스를 동시에 포함하는 분류 설정을 다루지 못한다.

본 논문은 이러한 한계를 극복하기 위해 이상치 탐지(outlier detection)를 도입함으로써, 입력 샘플이 기존 학습 클래스의 분포에 속하는지를 먼저 판단하고, unseen 클래스일 가능성이 있는 경우에만 zero-shot 분류를 수행하는 설정을 가능하게 한다.

One-Shot Learning / Few-Shot Learning

One-shot learning(또는 few-shot learning)은 매우 적은 수의 학습 예제를 사용하여 새로운 객체 클래스를 학습하는 문제를 다룬다. 최근 연구들은 딥러닝을 통해 저수준 이미지 특징을 학습하고, 이를 확률적 모델이나 메트릭 학습을 통해 새로운 클래스에 전이하는 방식으로 성능을 향상시켰다.

반면, 본 논문은 자연어로부터의 cross-modal 지식 전이를 활용하여, 학습 데이터가 전혀 없는 객체 클래스에 대해서도 분류를 수행할 수 있다. 동시에 충분한 학습 데이터가 존재하는 클래스에 대해서는 기존의 지도학습 분류 성능을 유지함으로써, zero-shot과 supervised learning을 하나의 프레임워크로 통합한다.

Knowledge and Visual Attribute Transfer

기존 연구에서는 보지 못한 클래스에 대해 사람이 정교하게 설계한 시각적 속성(visual attributes)을 활용하여 분류를 수행하였다. 이러한 방식은 높은 표현력을 가지지만, 속성 정의 및 어노테이션에 많은 인적 비용이 필요하다는 단점이 있다.

본 논문에서는 이러한 수작업 속성 설계를 배제하고, 비지도 및 비정렬(unlabeled, unaligned) 텍스트 코퍼스로부터 학습된 단어의 분포적 특징(distributional semantics)만을 사용한다. 이를 통해 수천 장의 학습 이미지가 존재하는 클래스와 학습 이미지가 전혀 없는 클래스를 동시에 분류할 수 있는 모델을 제안한다.

Multimodal Embeddings

멀티모달 임베딩은 이미지–텍스트, 영상–음성 등 서로 다른 정보 소스를 공통의 표현 공간으로 매핑하는 연구 분야이다. 기존 연구들은 일반적으로 각 클래스마다 일정량의 학습 데이터가 필요하다는 제약을 가진다.

본 연구는 이러한 제약을 완화하여, 완전한 zero-shot 상황에서도 동작 가능한 멀티모달 임베딩 모델을 제안한다. 특히, 객체 분류와 의미적 속성 예측을 동시에 수행할 수 있도록 설계된 결합(Joint) 모델을 통해 보다 효과적인 시각–언어 표현 학습을 달성한다.

3. Word and Image Representations

본 논문에서는 단어와 이미지에 대한 특징 표현(feature representation)을 다음과 같이 정의한다.

Word Representation
단어 특징 표현을 위해, 비지도 학습으로 사전 학습된 50차원 단어 임베딩을 사용한다. 해당 단어 임베딩 모델은 위키피디아에서 수집한 대규모 비정형 텍스트 코퍼스를 이용하여, 주어진 문맥에서 특정 단어가 등장할 확률을 예측하는 방식으로 학습된다.
이 과정에서 단어 주변의 로컬 문맥(local context)과 문서 수준의 글로벌 문맥(global document context)을 모두 고려하며, 결과적으로 생성된 단어 벡터는 단어의 분포적 구문 정보와 의미 정보를 효과적으로 포착한다.

Image Representation
이미지 특징 추출을 위해 비지도 학습 기반의 특징 학습 방법을 사용하여, 원시 픽셀(raw pixel)로부터 F차원의 이미지 특징 벡터를 추출한다. 따라서 각 이미지는

형태의 벡터로 표현된다.

4. Projecting Images into Semantic Word Spaces

본 논문에서는 이미지 간의 의미적 관계와 클래스 정보를 학습하기 위해, 이미지 특징 벡터를 50차원의 단어 의미 공간(semantic word space)으로 투영한다. 이를 통해 시각적 특징과 언어적 의미를 동일한 표현 공간에서 비교할 수 있도록 한다.

Semantic Projection Model
이미지–단어 간 매핑을 학습하기 위한 목적 함수는 다음과 같이 정의된다.

여기서

: 이미지 특징 벡터
: 이미지가 속한 클래스 에 대응하는 단어 벡터
: 학습해야 할 이미지-단어 매핑 행렬

이 목적 함수를 최소화하도록 학습함으로써, 이미지 특징은 해당 클래스의 단어 의미와 암묵적으로 정렬(alignment)되며, 결과적으로 이미지와 단어 간의 의미적 연결이 형성된다.

Semantic Space Visualization
아래 그림은 학습된 클래스와 보지 못한 클래스(unseen class)를 모두 포함한 50차원 의미 공간을 시각화한 결과이다.
시각화를 위해 T-SNE를 사용하여 50차원 공간을 2차원으로 축소하였다.

이 그림에서 보지 못한 클래스는 cat과 truck이다. 시각화 결과, 대부분의 학습된 클래스 이미지들은 해당 클래스 이름에 대응하는 단어 벡터 주변에 밀집되어 분포하는 반면, zero-shot 클래스는 직접적으로 가까운 단어 벡터를 가지지 않는다.

그러나 zero-shot 클래스에 속한 이미지들은 의미적으로 유사한 클래스 인근에 위치하는 경향을 보인다. 예를 들어, cat 클래스의 이미지는 dog나 horse와 같은 동물 클래스 근처로 매핑되며, 이는 학습된 의미 공간이 시각적 의미 유사성을 효과적으로 반영하고 있음을 보여준다.

5. Zero-Shot Learning Model

본 절에서는 제안하는 Zero-Shot Learning 모델의 전체 구조를 개괄한 후, 각 구성 요소를 순차적으로 설명한다.

모델의 목표는 입력 이미지 가 주어졌을 때, 학습된 클래스(seen class)와 학습되지 않은 클래스(unseen class)를 모두 포함하는 클래스 집합

에 대해 조건부 확률 를 추정하는 것이다.

일반적인 분류기는 학습 데이터가 존재하지 않는 클래스를 예측할 수 없다는 한계를 가진다.
본 논문에서는 이미지가 학습된 클래스에 속하는지 여부를 나타내는 이진 가시성 변수(binary visibility variable)

를 도입한다. 는 이미지가 학습된 클래스에 속함을, 는 학습되지 않은 클래스에 속함을 의미.

새로운 입력 이미지 에 대한 클래스 예측은 다음과 같이 수행된다.

이후에는 위 식의 각 항을 구성하는 요소들을 설명.

Outlier Detection을 통한 Unseen Class 판별

는 입력 이미지가 학습되지 않은 클래스(unseen class)에 속할 확률을 의미한다.

이 값은 의미 공간(semantic space)으로 투영된 학습 이미지들의 분포를 기반으로 한 이상치 탐지(outlier detection)를 통해 계산된다.

구체적으로, 학습된 클래스의 이미지들을 의미 공간으로 매핑한 후, 각 클래스에 대해 가우시안 분포를 가정한다.
학습된 클래스 전체에 대한 주변 확률(marginal probability)은 다음과 같이 정의된다.

여기서 각 클래스 에 대한 가우시안 분포는 해당 클래스의 단어 벡터 를 평균으로 하며, 공분산 행렬 는 동일한 클래스에 속한 모든 학습 샘플로부터 추정된다. 과적합을 방지하기 위해, 가우시안 분포는 등방성(isometric)으로 제한된다.

등방성(isometric)이란?

일반적인 가우시안: 데이터 분포에 따라 찌그러진 타원형 모양을 가질 수 있다.

등방성 가우시안: 모든 방향으로 퍼진 정도가 똑같아서 완벽한 원 모양을 가진다. 중심에서 어느 방향으로 가든 확률이 똑같이 줄어든다는 특징을 가짐.

새로운 입력 이미지 에 대해, 주변 확률 임계값 보다 작은 경우 해당 이미지를 이상치로 간주한다.

다양한 임계값 에 대한 성능은 실험을 통해 분석한다.

Seen/Unseen 클래스에 대한 분류

입력 이미지가 학습된 클래스에 속한다고 판단된 경우, 기존의 지도학습 분류기를 사용하여

를 계산할 수 있다. 본 논문에서는 원본 차원 이미지 특징을 입력으로 하는 softmax 분류기를 사용한다.

반면, 입력 이미지가 학습되지 않은 클래스에 속한다고 판단된 경우, 각 zero-shot 클래스의 단어 벡터를 평균으로 하는 등방성 가우시안 분포를 가정하여 확률을 계산한다. 이를 통해 학습 데이터가 전혀 없는 클래스에 대해서도 분류가 가능해진다.

6. Experiments

본 논문에서는 CIFAR-10 데이터셋에서 대부분의 실험을 수행.

CIFAR-10 데이터셋?
10개의 클래스와 클래당 5,000장의 32x32x3 RGB 이미지로 구성

이미지 특징 추출을 위해 비지도 학습 기반 특징 추출 방법을 사용, 각 이미지는 12,800차원 특징 벡터로 표현.
Zero-shot 분석을 위해, 이후 실험에서는 전체 10개 클래스 중 2개 클래스를 학습 과정에서 제외.

6.1. Zero-Shot Classes Only

본 절에서는 두 개의 zero-shot 클래스만을 대상으로 한 분류 성능을 비교한다.

실험 결과, 학습된 클래스(seen class) 중 zero-shot 클래스와 의미적으로 유사한 클래스가 존재하지 않는 경우, 분류 성능은 무작위 추측에 가까운 수준으로 떨어진다.

예를 들어, cat과 dog 클래스를 학습 과정에서 제외할 경우, 나머지 8개 클래스 중 어느 것도 이들과 충분히 유사하지 않기 때문에 효과적인 특징 매핑을 학습할 수 없으며, 결과적으로 zero-shot 분류 성능도 낮게 나타난다.

반면, cat과 truck 클래스를 학습에서 제외한 경우, cat은 dog 클래스로부터, truck은 car 클래스로부터 의미적 지식 전이가 가능하다. 이로 인해 해당 클래스들의 단어 벡터는 의미 공간으로 효과적으로 매핑될 수 있으며, zero-shot 분류 성능 또한 매우 높게 나타난다.

위 그림은 이상치 탐지(outlier detection)에 사용된 다양한 cutoff 값(축)에 따른 성능을 보여준다.
여기서, cutoff는 이상치 탐지 과정에서 각 샘플의 주변 확률(marginal)에 대한 음의 로그 우도(negative log-liklihood)를 기준으로 정의된다.

실험 결과, unseen 클래스의 이미지들을 zero-shot 클래스 집합 내에서만 분류하는 경우(그림의 오른쪽), 80% 이상의 분류 정확도를 달성할 수 있음을 확인할 수 있다.

즉, cutoff(이상치 탐지에 사용된 임계값 )가 커지면 이미지 가 unseen class로 분류가 되고,
unseen 끼리 분류 할 경우 80% 이상의 분류 정확도를 달성했다.

6.2. Zero-Shot and Seen Classes

위 그림을 통해, 테스트 단계에서 이미지를 학습된 클래스(seen class)와 학습되지 않은 클래스(unseen class)로 분리하는 임계값에 따라 분류 성능이 달라짐을 확인할 수 있다.
적절한 임계값을 설정할 경우, 학습된 클래스에 대해서는 약 80% 수준의 분류 정확도를 얻을 수 있다.

이때 학습된 클래스의 분류 정확도가 약 70% 수준일 경우, 학습되지 않은 클래스는 15%에서 30% 사이의 정확도로 분류 된다.
이는 무작위 추측인 10%에 비해 유의미하게 높은 성능으로, 본 모델이 seen/unseen 클래스를 동시에 포함하는 분류 문제에서도 일정 수준의 성능을 유지함을 보여준다.

7. Conclusion

본 논문에서는 표준 분류와 zero-shot 분류를 동시에 수행할 수 있는 새로운 결합 모델을 제안.

제안 모델은 딥러닝을 통해 학습된 단어 표현과 이미지 표현을 기반으로 하며, 두 가지 핵심 아이디어에 의해 구성.

1) Semantic word vector representations
의미적 단어 벡터 표현을 활용함으로써, 해당 표현이 비지도 학습 방식으로 학습되었음에도 불구하고, 클래스 간 지식 전이가 가능함을 보임.
이를 통해 학습 데이터가 없는 클래스에 대해서도 의미적 정보를 활용한 분류가 가능해진다.

2) Outlier detection
의미 공간으로 투영된 이미지들이 형성하는 분포에서 이상치(outlier)를 먼저 구분함으로써, zero-shot 분류와 기존의 지도학습 기반 분류를 하나의 통합된 모델 안에서 효과적으로 결합할 수 있음을 보였다.

특히, 분류 대상이 zero-shot 클래스들 간의 구분으로 제한된 경우, 제안한 모델은 완전한 비지도 학습 설정에서도 최대 90%에 달하는 분류 정확도를 달성할 수 있음을 실험적으로 확인.

[Tracking] DeepSORT: SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC 리뷰

woongs_93 — Wed, 14 Jan 2026 16:33:54 +0900

0. Abstract

SORT는 단순하면서도 효과적인 MOT 알고리즘.
본 논문에서는 SORT의 성능 향상을 위해 시각적 외형(appearance) 정보를 추가.
이를 통해 물체가 가려지는(occlusion) 구간이 길어져도 같은 ID를 유지하며 추적할 수 있음. -> ID 스위치 문제 줄어듦.

1. Intoduction

object detection 기술의 발전으로 인해, tracking-by-detection 방식이 MOT의 주요 패러다임으로 자리 잡음.
SORT는 칼만 필터링과 헝가리안 알고리즘 기반의 단순한 프레임워크로 높은 프레임 속도에서 우수한 성능을 달성.
하지만, SORT는 상대적으로 많은 ID switch 문제를 발생, 특히 가림(occulusion) 상황을 통한 추적에 취약함.
본 논문에서는 이러한 문제를 해결하기 위해, 이동 정보(motion)와 외형 정보(appearance)를 결합한 보다 정교한 연관 척도로 기존 척도를 대체.
대규모 사람 재식별(Person Re-Identification) 데이터셋을 이용해 학습된 CNN을 적용.

2. SORT With Deep Association Metric

2.1. Track Handling and State Estimation

본 논문의 추적 시나리오
- 8차원 상태 공간 (u, v, γ, h, x', y', γ', h') : 바운딩 박스 중심 위치 (u, v), 종횡비 γ, 높이 h, 그리고 이들 각각의 속도 항.
- 모델 : 표준 칼만 필터를 사용하며, 등속 운동 모델을 가정.
- 관측 : 바운딩 박스 좌표를 직접적인 관측값으로 사용, 필터를 업데이트.
각 트랙 k마다 마지막으로 탐지된 이후 흐른 프레임 수를 a_k를 카운트.
a_k는 매칭되지 않으면 증가하고, 매칭에 성공하면 0으로 초기화.
미리 정해서 최대 수명 A_max 동안 매칭되지 않으면, 객체가 사라졌다고 판단하고 추적을 중단.
기존 트랙과 매칭되지 않는 새로운 탐지가 있으면 새로운 트랙을 생성.
새로 생긴 트랙은 처음 3 프레임 동안 임시 상태 -> 연속으로 탐지되어야만 정식 트랙으로 인정.

2.2. Assignment Problem (할당 문제)

MOT에서 연관(association)은 이전 프레임에서 추적 중인 객체를 현재 프레임에서 올바르게 연결하는 문제로, 전통적으로 헝가리안 알고리즘으로 해결 가능한 할당 문제로 모델링 된다.

본 논문에서는 이 할당 문제에 이동 정보와 외형 정보를 동시에 활용하기 위해, 두 가지 척도를 결합하는 방식을 제안.

1) 이동 기반 척도

첫 번째 척도는 이동 정보를 반영하기 위한 마할라노비스 거리(Mahalanobis distance)이다.

칼만 필터로 예측된 트랙 위치와 새로 검출된 위치 사이의 거리를 계산한다.

(yi, Si) : i번째 트랙의 예측된 상태와 그에 대한 불확실성(공분산)
dj : j번째 바운딩 박스 검출 결과 (측정값)
마할라노비스 거리는 상태 추정의 불확실성을 고려하여, 해당 검출 결과가 평균 트랙 위치로부터 몇 표준편차만큼 떨어져 있는지를 측정한다.
이 척도에 대해 분포의 95% 신뢰 구간을 기준으로 임계값을 적용하여 연관 가능 여부를 판단.

i번째 트랙과 j번째 검출 간의 연관이 허용 가능한 경우 1의 값. (본 논문에서는 t(1)=9.4877)
마할라노비스 거리는 이동 불확실성이 낮을 때는 적절한 연관 척도지만, 가림(occlusion) 상황에서의 추적에는 충분히 정보력 있는 척도가 되지 못한다.

2) 외형 기반 척도

두 번째 척도는 외형 공간에서의 최소 코사인 거리(cosine distance).

rj : 검출된 바운딩 박스 dj의 외형 특징 벡터. (사전 학습된 CNN을 사용.)
rk : 트랙 k에 대해 최근에 연관된 특징 벡터.

마찬가지로, 이 척도에 따라 연관이 허용 가능한지를 나타내는 이진 변수를 정의.
임계값 t(2)는 별도의 학습 데이터셋을 통해 결정.

이 두 척도는 할당 문제의 서로 다른 측면을 담당, 상호 보완적인 역할을 한다.

마할라노비스 거리는 이동 정보를 기반으로 한 가능한 객체 위치를 제공, 단기 예측에 유용.

코사인 거리는 외형 정보를 고려함으로써, 이동 정보의 구분력이 떨어지는 장기 가림 상황 이후 ID 복구에 효과적.

할당 문제를 구성하기 위해, 두 척도를 다음과 같이 가중합으로 결합.

또한, 두 척도의 게이팅 조건을 모두 만족하는 경우에만 연관을 허용.

2.3. Matching Cascade

1) 기존 방식의 문제

기존 SORT에서는 모든 트랙과 모든 검출을 한 번에 모아서 하나의 큰 헝가리안 알고리즘으로 매칭(전역 할당).

그러나 이런 방식은 어떤 객체가 오래 가려지면(occlusion), 칼만 필터의 위치 불확실성이 커지게 된다. -> 위치 예측이 매우 퍼짐.

마할라노비스 거리는 불확실성이 커서 분포가 커질수록, 실제 물리적 거리가 멀어도 통계적 거리로 '가깝다'라고 계산함.

그 결과, 불확실한 트랙(오래 가려진 객체)이 확실한 트랙(최근까지 본 객체)이 가져야 할 탐지 결과를 가로채는 부작용이 발생.

이로 인해 트랙이 끊기거나 추적이 불안정해지는 문제를 유발한다.

2) 매칭 캐스케이드(Matching Cascade)

이를 해결하기 위해, 본 논문에서는 최근에 더 자주 관측된 객체에 우선순위를 부여하는 매칭 캐스케이드 방식을 도입.

모든 트랙을 한 번에 매칭하는 것이 아니라, 단계별(Cascade)로 나누어 매칭.

T : 현재 추적 중인 트랙들의 인덱스 집합.
D : 현재 프레임에서 검출된 객체들의 인덱스 지합.
Amax : 트랙을 유지할 수 있는 최대 나이, 이보다 오래 안 보이면 트랙 삭제

1. 사전 준비

C : 트랙 i와 검출 j 사이의 연관 비용. (이동 정보 + 외형 정보)
B : 이 매칭이 가능한지를 나타내는 이진 값. (임계값)

2. 초기화

M : 최종 트랙-검출 매칭 결과 집합
U <-D : 아직 어떤 트랙에도 연결되지 않은 검출들. 처음에는 전부 미매칭 상태

3. 핵심 루프

for n ∈ {1 … Amax} : age를 1부터 증가시키며 최근 트랙부터 먼저 처리
Tn ← {i ∈ T | ai = n} : 매칭된 지 n 프레임 지난 트랙들 (age = n)
[xi, j] ← min cost matching(C, Tn, U) : 현재 age 그룹 트랙(Tn)과 남아 있는 검출(U) 사이에서 매칭 수행.
M ←... : 헝가리안 결과라도 게이팅을 통과한 것만 최종 매칭
U ←... : 이미 트랙과 연결된 검출은 제거
return M, U : 최종 트랙-검출 매칭 결과와 끝까지 매칭되지 못한 검출을 반

결과적으로, 트랙을 age 기준으로 나누어, 최근 관측된 트랙부터 순차적으로 검출과 매칭하는 방식.

2.4. Deep Appearance Descriptor

DeepSORT는 대규모 사람 재식별(person re-identification) 데이터셋으로 사전에 학습된 CNN을 사용.

해당 데이터셋은 1261명의 보행자에 대해 110만 장 이상의 이미지를 포함하고 있어, 사람 추적 환경에서의 deep metric learning에 매우 적합하다.

CNN 구조

본 논문에서 사용한 CNN 구조는, 두 개의 conv layer와 여섯 개의 residual block으로 구성된 Wide Residual Network를 사용.

차원 수가 128인 전역 feature map은 10번째 dense layer에서 계산된다. 이후 최종적으로 batch normalization과 L2 normalization을 적용, feature 벡터를 코사인 거리 기반 외형 기반 척도와 호환되도록 한다.

이 네트워크는 한 번 추론하는 데 약 30ms가 소요, 최신 GPU 환경이 갖춰진 경우 온라인 추적에 충분한 성능을 제공한다.

3. Experiments

본 논문에서는 제안한 tracker의 성능을 MOT16 벤치마크에서 평가.
MOT16은 이동하는 카메라가 포함된 전면 시점 장면과 상단 시점의 감시 환경 등, 총 7개의 테스트 시퀀스로 구성.
Faster R-CNN 검출 결과를 사용하여 SORT와 공정하게 비교.

MOTA: 오탐, 미탐, ID 스위치를 종합적으로 고려한 전체 추적 정확도.
MOTP: 정답 위치와 예측된 바운딩 박스 간의 겹침 정도.
MT: 전체 수명 중 80% 이상 동일한 ID로 추적된 실제 트랙의 비율.
ML: 전체 수명 중 20% 이하만 추적된 실제 트랙의 비율.
ID: 하나의 실제 객체에 대해 추적 ID가 변경된 횟수.
FM: 검출 누락으로 인해 트랙이 끊긴 횟수.

실험 결과, SORT와 비교했을 때 ID 스위치가 1423회에서 781회로 줄어 약 45% 감소.

가림(occlusion)과 검출 누락 상황에도 객체의 ID를 유지하려다 보니 트랙 단절 수는 소폭 증가했지만, 전체적으로 경쟁력 있는 MOTA 성능을 유지.

또한 GPU 환경에서 20Hz로 동작해 실시간 적용이 가능함을 확인.

4. Conclusion

DeepSORT에서는 사전 학습된 연관(association) metric을 통해 외형 정보를 통합한 SORT의 확장 기법을 제안.
이를 통해 객체가 오랜 시간 가려지는 상황에서도 안정적인 추적이 가능.
최신 온라인 MOT 알고리즘들과 경쟁 가능하며, 또한 구현이 간단하고 실시간으로 동작한다는 장점을 유지했다.

[빌드 에러] error C2059, error C4430, error C2065, error C3927: 구문 오류, 선언되지 않은 식별자, 후행 반환 형식은 비함수 선언자 뒤에 올 수 없습니다.

woongs_93 — Thu, 6 Nov 2025 16:23:22 +0900

컴파일러는 에러를 잡지 않지만 빌드하면 제목과 같은 에러들이 발생.

파일 인코딩 문제로 UTF-8 형식으로 다시 저장하면 된다고 한다.

하지만 UTF-8 형식으로 다시 저장해도 오류가 사라지지 않음.

결국 한글 주석을 모두 영어로 바꿔줌 -> 해결.

[OpenCV] findTransformECC, Image Alignment

woongs_93 — Tue, 14 Oct 2025 13:51:56 +0900

서로 다른 이미지를 정렬할 때 사용.

Motion Model

Translation (MOTION_TRANSLATION)
- 이미지를 (x, y) 이동(translated)한 변환 모델
Euclidean (MOTION_EUCLIDEAN)
- 이미지를 (x, y) 이동 및 angle 회전한 변환 모델
Affine (MOTION_AFFINE)
- Affine 변환은 회전, 평행이동(shift), 배율 및 shear의 조합
- 정사각형이 Affine 변환을 거치면 평행선은 평행을 유지하지만 직각으로 만나는 선은 직교를 유지하지 않음
Homography (MOTION_HOMOHRAPHY)
- 위에서 설명한 모든 변환은 2D 변환이지만, 호모그래피 변환은 일부 3D 효과를 설명할 수 있음(전부x)
- 호모그래피를 사용하여 변환된 정사각형은 어떤 사변형으로도 바뀔 수 있음

OpenCV에서 Affine 변환은 2x3 행렬에 저장할 수 있다. (Translation 및 Euclidean 변환은 Affine 변환에 포함 가능)
Homography 변환은 3x3 행렬로 저장된다.

Enhanced Correlation Coefficient(ECC)

유사성을 측정하는 상관 계수.
픽셀 강도의 차이를 측정하는 전통적인 유사성 측정과 달리 ECC는 대비와 밝기의 왜곡에 강하다.

cv::findTransformECC 예제

bool AlignToReference(const cv::Mat& org_image,
	const cv::Mat& dst_image,
	cv::Mat& aligned_image,
	double& dx, double& dy)
{
	// 입력 유효성 검사
	if (org_image.empty() || dst_image.empty()) {
		std::cerr << "Error: One or both images are empty!" << std::endl;
		return false;
	}

	// 그레이스케일 변환
	cv::Mat org_gray, dst_gray;
	if (org_image.channels() == 3)
		cv::cvtColor(org_image, org_gray, cv::COLOR_BGR2GRAY);
	else
		org_gray = org_image.clone();

	if (dst_image.channels() == 3)
		cv::cvtColor(dst_image, dst_gray, cv::COLOR_BGR2GRAY);
	else
		dst_gray = dst_image.clone();

	// 초기 변환 행렬 (2x3)
	cv::Mat warp_matrix = cv::Mat::eye(2, 3, CV_32F);

	// ECC 기반 정합 설정
	int number_of_iterations = 100;
	double termination_eps = 1e-6;
	cv::TermCriteria criteria(cv::TermCriteria::COUNT + cv::TermCriteria::EPS,
		number_of_iterations, termination_eps);

	try {
		// ECC 정합 (이동만)
		double cc = cv::findTransformECC(
			dst_gray,          // 기준 이미지
			org_gray,           // 정렬할 이미지
			warp_matrix,        // 결과 변환 행렬
			cv::MOTION_TRANSLATION,
			criteria
		);

		// 변환 적용
		cv::warpAffine(org_image, aligned_image, warp_matrix,
			dst_image.size(),
			cv::INTER_LINEAR + cv::WARP_INVERSE_MAP);

		// x, y offset 추출
		dx = warp_matrix.at<float>(0, 2);
		dy = warp_matrix.at<float>(1, 2);

		std::cout << "Alignment success. Offset (dx, dy): "
			<< dx << ", " << dy << std::endl;
		return true;
	}
	catch (cv::Exception& e) {
		std::cerr << "Alignment failed: " << e.what() << std::endl;
		return false;
	}
}

cv::findTransformECC 함수를 통해 dst_gray와 org_gray 사이의 변환 행렬을 찾음.
cv::warpAffine 함수를 사용하여 찾아낸 변환 행렬을 기반으로 org_image를 dst_image 기준으로 정렬.

org_image : 원본 이미지

dst_image : 기준 이미지

aligned_image : warpAffine을 통해 정렬된 이미지

<참고>

https://docs.opencv.org/3.4/dc/d6b/group__video__track.html#ga1aa357007eaec11e9ed03500ecbcbe47

OpenCV: Object Tracking

cv.calcOpticalFlowPyrLK(prevImg, nextImg, prevPts, nextPts[, status[, err[, winSize[, maxLevel[, criteria[, flags[, minEigThreshold]]]]]]]) -> nextPts, status, err

docs.opencv.org

https://learnopencv.com/image-alignment-ecc-in-opencv-c-python/

Image Alignment (ECC) in OpenCV ( C++ / Python ) | LearnOpenCV #

See example code for using OpenCV ECC image alignment on mis-aligned color channels of historic images.

learnopencv.com

[NSIS] 설치 파일 만들기

woongs_93 — Tue, 29 Jul 2025 14:27:28 +0900

1. NSIS 설치

https://nsis.sourceforge.io/Download

Download - NSIS

nsis.sourceforge.io

NSIS 공식 다운로드 홈페이지

NSIS 설치 완료 후 실행 화면

2. HM NIS Edit 설치

NIS Script를 작성하기 위한 Editor를 설치해야 한다.

https://hmne.sourceforge.net/

HM NIS Edit: A Free NSIS Editor/IDE

HM NIS EDIT: A Free NSIS Editor/IDE | | | | | | | HM NIS Edit is the best Editor/IDE for Nullsoft Scriptable Install System (NSIS). Its useful for experts and beginners in the creation of Setup programs with the NSIS. Its S

hmne.sourceforge.net

HM NIS Edit 다운로드

HM NIS Edit 실행화면

3. 스크립트 작성

설치에 필요한 스크립트 작성을 위해 HM NIS Edit에서 스크립트를 작성

스크립트 작성 마법사 버튼

스크립트 마법사 실행

스크립트 마법사를 실행시키고 다음을 선택

프로그램 정보

프로그램 정보들을 입력하고 다음 선택

설치 옵션

설치 옵션(아이콘, 설치 파일 이름 등)을 입력, 선택하고 다음

프로그램 디렉토리 및 라이센스

라이센스 삭제

설치 시 기본 디렉토리와 라이센스 정보를 지정.

기본적으로는 라이센스 칸을 삭제.

프로그램 파일

기존 파일들 삭제

다음으로 프로그램 파일을 지정한다. 위 그림과 같이 파일 칸의 기존 파일들을 삭제.

파일 추가를 선택해 소스 파일에 필요한 파일들을 추가.

바로가기, 프로그램 아이콘 설정.

설치가 완료되면 실행할 프로그램 지정.

언인스톨러 사용 지정.

작성 완료 된 스크립트

완료를 누르면 지금까지 스크립트 마법사로 선택한 옵션들로 스크립트가 작성된다.

4. NSI 스크립트 컴파일 (설치 파일 생성)

NSIS 실행 > Compile NSI scripts 선택

설치 파일 빌드 완료

3. 에서 작성한 스크립트를 불러오면 자동으로 설치 파일을 빌드. (이름 "Setup.exe" 때문에 경고가 뜨긴하지만 일단 무시)

생성된 설치 파일을 실행하면 설치를 진행한다.

ELBO(Evidence Lower BOund)

woongs_93 — Mon, 9 Jun 2025 16:39:24 +0900

ELBO(Evidence Lower BOund)

Variatuinal inference(변분 추론)에서 중심적인 역할을 하는 개념
확률 모델에서 잠재 변수(latent variable)이 있을 때, 복잡한 사후 분포를 근사하고자 할 떄 사용
VAE 같은 딥러닝 기반의 생성 모델에서 핵심적인 역할을 한다

배경

잠재 변수(latent variable) $z$를 포함하는 관측 데이터 $x$에 대한 확률 모델에서 사후 분포 $p(z|x)$를 알고 싶을 때,

$$p(z|x)=\frac{p(x, z)}{p(x)}=\frac{p(x, z)}{p(x)}=\frac{p(x|z)p(z)}{\int p(x|z)p(z)dz}$$

위 식과 같이 사후 분포의 계산은 매우 어렵다.

이를 위해 복잡한 $p(z|x)$를 직접 계산하는 대신, 이를 근사하는 변분 분포 $q(z)$를 도입.

정의

ELBO는 다음 식으로 정의된다.

$$\textrm{log}p(x)\geq \mathbb{E}_{q(z)}[\textrm{log}p(x|z)]-\textrm{KL}(q(z)||p(z))$$

위 식의 우변이 Evidence Lower Bound(ELBO)

$\textrm{log}p(x)$ : 관측 데이터 $x$의 marginal likelihood
$\mathbb{E}_{q(z)}[\textrm{log}p(x|z)]$ : 재구성 가능성 (likelihood term)
$\textrm{KL}(q(z)||p(z))$ : 근사 분포와 실제 사전 분포 사이의 Kullback-Leibler 발산

우변(ELBO)을 최대화 함으로써 $q(z)$가 $p(z|x)$에 가까워지게 하고, $x$를 잘 설명하는 $z$를 찾게 된다.

VAE에서의 ELBO

$q_\phi (z|x)$ : Encoder가 학습하는 분포 (latent variable 분포)
$p_\theta (x|z)$ : Decoder가 학습하는 재구성 분포
$p(z)$ : 잠재 변수의 사전 분포 $(N(0, I))$

이때, ELBO는 다음과 같이 정의,

$$\textrm{ELBO}=\mathbb{E}_{q_\phi(z|x)}[\textrm{log}p_\theta(x|z)]-\textrm{KL}(q_\phi(z|x)||p(z))$$

$\mathbb{E}_{q_\phi(z|x)}[\textrm{log}p _\theta(x|z)]$
- 재구성 항으로, 잠재 변수 $z$에서 $x$를 얼마나 잘 재구성 하는가를 측정.
- $q_\phi(z|x)$ : 디코더가 출력하는 확률 분포.
$\textrm{KL}(q_\phi(z|x)||p(z))$
- 정규화 항으로, 인코더가 만든 $q_\phi(z|x)$ 분포가 사전 분포 $p(z)$(정규 분포)에 얼마나 가까운지를 측정.
- KL 발산은 두 분포의 차이를 정량적으로 측정.

결합 확률, 조건부 확률 (Joint probability, Conditional probability)

woongs_93 — Wed, 4 Jun 2025 15:00:02 +0900

어떤 반의 100명의 시험 성적 데이터가 아래와 같다

	90점 이상 (A)	90점 미만 (-A)	합계 (B/-B)
공부 함 (B)	30명	20명	50명
공부 안 함 (-B)	10명	40명	50명
합계	40명	60명	100명

결합 확률(Joint probability)

$P(A,B)$ or $P(A\cap B)$

두 개 이상의 사건(A, B)이 동시에 일어날 확률
공부도 하고, 90점 이상인 학생 = 30/100명 = 0.3

조건부 확률(Conditioanl probability)

$P(A|B)$

B가 주어졌을 때 A가 일어날 확률
공부한 학생 중, 90점 이상인 학생 = 30/50 = 0.6

결합 확률과 조건부 확률 관계

$P(A,B)=P(A|B)\cdot P(B)$

결합 확률 $P(A, B)$는 다음과 같이 조건부 확률과 주변 확률로 나타낼 수 있다.
$P(A,B)=P(A|B)\cdot P(B)=0.6\cdot 0.5 =0.3$ (계산 결과가 실제 데이터와 일치)

베이즈 정리 (Bayes Theorem)

woongs_93 — Wed, 4 Jun 2025 10:38:52 +0900

베이즈 정리

두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리.

사전 확률(Prior probability) : 특정 사상이 일어나기 전의 확률. 관측자가 관측하기 전에 가지고 있는 확률 분포.

사후 확률(Posterior probability) : 어떤 사건이나 조건이 관측된 이후에, 어떤 가설이나 사건이 참일 확률.

정의

$$Pr(A|B)=\frac{Pr(B|A)Pr(A)}{Pr(B)}$$

각 항은 다음과 같은 의미를 갖는다.

$Pr(A)$ : A의 사전 확률, 아직 사건 B에 관한 어떠한 정보도 알지 못함.
$Pr(A|B)$ : B의 값이 주어진 경우에 대한 A의 사후 확률.
$Pr(B|A)$ : A가 주어졌을 때 B의 조건부 확률. (likelihood)
$Pr(B)$ : B의 사전확률.

이때, A는 불확실성을 계산해야 하는 대상, B는 관측하여 값을 알아낼 수 있는 대상.

A의 확률은 B가 관측된 후 P(A)에서 P(A|B)로 변화하며, 베이즈 정리는 이때의 변화를 계산하는 방법을 제공한다.

[VAE] Auto-Encoding Variational Bayes

woongs_93 — Mon, 14 Apr 2025 15:03:24 +0900

Variational Auto-Encoder(VAE)에 대한 논문.

0. Auto-Encoder란?

x: 입력 데이터, z: 압축된 특징(latent vector), y: 복원 데이터

오토앤코더는 입력 데이터를 압축(Encoding)하고, 압축된 표현에서 원본 입력을 재구성(Decoding)하는 신경망 구조.
입력 데이터를 압축하고 복원하는 과정에서 입력의 특징을 학습하게 된다.
데이터 압축, 차원 감소, 이상 감지, 노이즈 제거 등에 활용.

1. 생성형 모델 관점에서 Auto-Encoder

입력 데이터가 latent space에 벡터로 표현되지만 어떤 분포를 따르지 않는다

Auto-Encoder는 Encoder가 단순히 입력 데이터를 어떤 벡터(z)로 압축해서 표현.
이렇게 압축된 latent vector는 분포에 대한 제약이 없음. (z가 어떠한 분포를 따르지 않음)
latent space에서 임의의 z를 샘플링해서 생성(Decoding)할 경우 원하는 데이터가 생성될지 확실하지 않다.
(ex: z1과 z2가 비슷한 이미지여도, 그 중간 (z1+z2)/2가 전혀 이상한 이미지가 생성될 수 있음)

z를 분포로 학습

vector 표현과, 분포 표현

따라서 latent space의 z가 벡터가 아닌 특정한 분포를 따르도록 학습하면?

-> 생성(Decoding) 때 의도하는 데이터를 생성할 수 있지 않을까? 하는 내용이 본 논문의 큰 주제이다.

2. 분포 계산 문제

입력 데이터에서 분포를 학습하고, 그 분포에서 다시 입력 데이터를 재구성하는 모델 구조

p_ θ(x) : θ 파라미터를 통해 데이터 x가 나올 확률, 즉 모델이 x 같은 데이터를 "자연스럽게" 만들 수 있는 확률 분포.
VAE의 목표는 p_θ(x)를 최대한으로 크게 만드는 θ를 학습하는 것.

문제점 1.

베이즈 정리에 의해 p_ θ(x)는 위와 같이 정의
p(z)는 가우시안 분포와 같이 특정 분포로 가정한다고 해도, Decoder 역할인 p_θ(x | z)는 Nerual network로 구성되어 비선형적이고, z에 대해 적분 계산이 복잡하거나 불가능하다.

문제점 2.

그렇다면 Encoder 부분인 p_ θ (z | x)는 계산이 가능할까?
마찬가지로 분모에 p_ θ(x)가 있어 계산 불가

위와 같이 Encoding , Decoding 문제를 사후 분포 계산으로 풀고 싶지만 불가능하다.

3. 제안 방법

Recognition Model

p_θ(z | x)는 계산이 불가능하기 때문에 q_ϕ(z | x)로 근사(approximation)하는 Recognition Model 제안.
계산하기 어려운 p(x), p(z | x) 대신, 정규 분포의 형태로 근사.

!!! 문제점 !!!

Encoder를 학습하기 위해 파라미터 ϕ에 대해 미분해야 한다.
하지만 샘플링 연산(분포에서 z 선정)은 본질적으로 Random 이기 때문에, Gradient 계산을 위한 Chain rule 적용이 불가능.

Reparameterization Trick

이러한 샘플링 문제를 해결하기 위해, 샘플링을 결정론적인 함수 형태로 변형.
더 이상 z를 직접 샘플링하지 않고, 고정된 분포(ex:Gaussian noise)에서 샘플링된 값 ϵ를 사용.
이를 통해 z는 ϕ에 대해 연속적이고 미분 가능한 함수가 됨. (Backpropagation 가능)

4. 실험 및 결과

Visualisation of 2D-Latent Space

latent variables z가 모여있는 latent space를 시각화
z가 2개 차원을 가지도록 학습하고, 정규화 -> z 좌표들을 하나하나 Decoder에 통과시켜서 이미지를 생성
위 이미지를 보면 비슷한 z값은 비슷한 x를 생성하고 있다 -> 모델이 데이터의 구조를 잘 학습
latent space의 연속성 확보 : z값이 조금만 바뀌면 생성도니 이미지도 부드럽게 바뀜.

웅's blog

DeViSE:A Deep Visual-Semantic Embedding Model

Abstract

Introdction

기존 비전 인식 시스템의 한계

DeViSE 제안

주요 성과 및 특징

Proposed Approach

1. Language Model Pre-training (언어 모델 사전 학습)

2. Visual Model Pre-training (시각 모델 사전 학습)

3. Deep Visual-Semantic Embedding Model (DeViSE)

Results

ImageNet (ILSVRC) 2012 1K 결과

Generalization and Zero-Shot Learning

Zero-Shot Learning Through Cross-Modal Transfer 리뷰

Abstract

1. Introduction

2. Related Work

Zero-Shot Learning

One-Shot Learning / Few-Shot Learning

Knowledge and Visual Attribute Transfer

Multimodal Embeddings

3. Word and Image Representations

4. Projecting Images into Semantic Word Spaces

5. Zero-Shot Learning Model

Outlier Detection을 통한 Unseen Class 판별

Seen/Unseen 클래스에 대한 분류

6. Experiments

6.1. Zero-Shot Classes Only

6.2. Zero-Shot and Seen Classes

7. Conclusion

[Tracking] DeepSORT: SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC 리뷰

0. Abstract

1. Intoduction

2. SORT With Deep Association Metric

2.1. Track Handling and State Estimation

2.2. Assignment Problem (할당 문제)

2.3. Matching Cascade

2.4. Deep Appearance Descriptor

3. Experiments

4. Conclusion

[빌드 에러] error C2059, error C4430, error C2065, error C3927: 구문 오류, 선언되지 않은 식별자, 후행 반환 형식은 비함수 선언자 뒤에 올 수 없습니다.

[OpenCV] findTransformECC, Image Alignment

Motion Model

Enhanced Correlation Coefficient(ECC)

cv::findTransformECC 예제

[NSIS] 설치 파일 만들기

1. NSIS 설치

2. HM NIS Edit 설치

3. 스크립트 작성

4. NSI 스크립트 컴파일 (설치 파일 생성)

ELBO(Evidence Lower BOund)

ELBO(Evidence Lower BOund)

배경

정의

VAE에서의 ELBO

결합 확률, 조건부 확률 (Joint probability, Conditional probability)

결합 확률(Joint probability)

조건부 확률(Conditioanl probability)

결합 확률과 조건부 확률 관계

베이즈 정리 (Bayes Theorem)

베이즈 정리

정의

[VAE] Auto-Encoding Variational Bayes

0. Auto-Encoder란?

1. 생성형 모델 관점에서 Auto-Encoder

2. 분포 계산 문제

3. 제안 방법

Recognition Model

Reparameterization Trick

4. 실험 및 결과