[Tracking] SORT: SIMPLE ONLINE AND REALTIME TRACKING 리뷰

Abstract

• 본 논문은 Online 및 실시간 애플리케이션을 위한 Multiple Object Tracking(MOT)에 대한 실용적인 접근 방식을 제안
• Tracking 구성 요소에 칼만 필터 및 헝가리안 알고리즘과 같은 기술의 기초적인 조합을 사용
• 당시의 최첨단 Online 추적에 최첨단 성능을 달성

 

Introduction

• 본 논문은 MOT 문제에 대한 Tracking-by-Detection 프레임워크의 간소한 구현을 제시
• SORT는 이전 프레임과 현재 프레임의 탐지만 사용하여 Online Tracking을 목표로 한다
• 또한 고전적이지만 효율적인 칼만 필터와 헝가리안 알고리즘을 Tracking의 motion prediction 및 data association을 처리하는 데 사용
• 이러한 최소한의 Tracking 공식은 Online 추적의 효율성과 신뢰성을 모두 용이하게 한다 (FIg.1. 참조)

 

SORT 논문의 기여도는 다음과 같다

• MOT 맥락에서 CNN 기반 Detection을 활용
• 칼만 필터와 헝가리안 알고리즘을 기반으로 한 실용적이 Tracking 방식 제시
• 오픈 소스로 공개되어 충돌 방지 애플리케이션에서 연구 실험과 활용을 위한 기준 방법을 확립하는데 도움

 

Methodology

제안 방법은 다음과 같은 핵심 구성 요소로 설명된다.

감지, 객체 상태를 다음 프레임으로 전파, 현재 감지를 기존 객체와 연관, 추적된 객체의 수명 관리

 

1) Detection

• 본 논문에서는 CNN 기반 Detection인 Faster Region CNN(FrRCNN)을 활용
• FrCNN은 두 단계로 구성된 end-to-end 프레임워크로, 첫 번째 단계에서는 특징을 추출하고 두 번째 단계를 위한 영역을 제안, 두 번째 단계에서는 제안된 영역에서 객체를 분류
• 또한 본 논문에서는 Detection 품질이 Tracking 성능에 상당한 영향을 미친다는 것을 발견

Detector에 따른 Tracking 성능 비교

 

 

2) Estimation Model

여기서는 객체 모델, 즉 다음 프레임으로 전파되는 표현 및 동작 모델을 설명.

각 대상의 상태(state)는 다음과 같이 모델링 된다.

• u와 v는 대상 중심의 수평, 수직 픽셀 위치
• s와 r은 대상 bounding box의 종횡비

새로운 탐지가 존재하면 bounding box를 사용하여 칼만 필터로 타겟의 속도와 위치를 업데이트,

새로운 탐지가 없으면 이전 속도를 기반으로 단순히 타겟의 위치를 예측한다.

 

3) Data Association

Tracking 과정에서 기존 대상을 할당하는 과정을 설명한다

1. 현재 프레임에서 기존 대상의 bounding box 위치를 예측 (이젠 프레임의 위치를 바탕으로)
2. 탐지와 기존 대상 간 매칭을 위한 Cost Matrix를 생성 (Cost=IOU 값)
3. 헝가리안 알고리즘으로 최적 매칭
4. 최소 IOU 값을 임계값으로 사용하여, 임계값보다 작을 시 할당을 거부

 

4) Creation and Deletion of Track Identities

객체가 이미지에 들어오고 나갈 때 고유한 ID를 생성하거나 삭제하는 방법을 설명

 

새로운 ID를 생성하는 과정

• 탐지된 객체의 IOU값이 최소 IOU 값 이하일 경우, 새로운 객체가 등장했다고 간주
• 이때 새로 감지된 객체에 대한 Tracker는 속도가 0인 bounding box를 사용하여 초기화

Tracking 종료 조건

• Tracking 대상이 T_Lost 프레임 동안 탐지되지 않으면 삭제
• 본 논문의 실험에서는 T_Lost를 1로 설정
  • 이는 등속 모델의 한계와 객체 재식별은 이 작업의 범위를 벗어나기 때문
  • 또한 잃어버린 대상을 조기에 삭제하는 것이 보다 효율적이기 때문

 

Conclusion

• 본 논문에서는 frame-to-frame prediction, association에 초점을 맞춘 간단한 online tracking 프레임워크를 제시
• Tracking 품질은 Detection 성능에 크게 의존하며 고전적인 Tracking 방법만으로 최첨단 성능을 달성
• 제시된 프레임워크는 단순하기 때문에, 장기 폐색을 처리하기 위한 Re-identification의 가능성을 열어둠