mAP(mean Average Precision)

mAP?

 

 mAP는 컴퓨터 비전 분야에서 Detection을 할 때 알고리즘의 성능을 평가할 때 쓰이는 지표이다. mAP 설명에 앞서 알아야 하는 개념이 있다.

 

• Precision
• Recall
• IoU

 

 

Precision

 

 Precision은 정밀도라고 불리며, 모든 검출 결과 중 옳게 검출한 비율을 의미한다.

 예를 들어 모델이 검출해낸 Object가 10개, 그중에 8개가 옳게 검출해낸 것이라면 Precision = 0.8.

 

 

 

 

 

Recall

 

 Recall은 재현율이라고 하며, 검출해내야 하는 물체들 중에서 제대로 검출된 것의 비율이다.

 예를 들어 라벨이 붙어있는 Object가 10개일 때, 그중 4개를 검출해 낸다면 Recall = 0.4.

 

 

 

 

 

IoU

 

 물체를 검출할 때 물체를 옳게 검출한 건지 아닌지 결정해주는 기준이 되는 값이다. (IoU 포스팅 참고)

 

2021/01/04 - [DeepLearning/개념] - IoU (Intersection over Union)

IoU (Intersection over Union)

 

 

 

 

Precision-Recall 곡선

 

 PR 곡선은 Object Detection을 할 때 Cofidence 값과 그 값에 대한 Threshold값에 대해 바뀌는 Precision, Recall에 대한 그래프 곡선이다.

  

 예로 15개의 Object가 있는 dataset에 모델에 의해 10개를 Detection 했을 때, 이에 대한 Confidence와 검출 결과(TP or FT)에 대한 표를 다음과 같이 작성할 수 있다.

 

 

 이를 Confidence에 대해 오름차순 정렬.

 

 

 각 Confidence를 Threshold로 적용했을 때, Precision과 Recall의 값을 구한다. 만약 95%의 Threshold를 적용하면 I만 검출될 것이고, 이때 Precision = 1/1 = 1, Recall = 1/15=0.067이 된다.

 

각 Confidence를 Threshold로 사용했을 때 Precision, Recall 값

 

 이 Precision값과 Recall값들을 그래프로 나열하면 PR곡선이 된다.

 

 

 

 

 

AP, mAP

 

 AP(Average Precision)는 Recall 값들에 대응하는 Precision 값들의 평균이다. 구하는 방법은 PR 곡선의 아래쪽 면적을 구하면 된다.

 

AP

 

 

 mAP는 각 클래스당 AP를 구한 다음 그것을 모두 합한 후 평균을 구한 것이다. Object Detection에서는 mAP값으로 알고리즘의 성능을 평가한다.

 

여러 Detection model의 mAP 그래프

 

 

 

 

 

 

 

끝.