[Zero-DCE] Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement 리뷰

Abstract

• 본 논문은 이미지별 곡선 추정 작업으로 light enhancement를 공식화하는 Zero-Reference Deep Curve Estimation(Zero-DCE)를 제안
• DCE-Net을 학습시켜 주어진 이미지의 픽셀 단위, 고차 곡선을 추정
• Zero-DCE는 학습 중에 쌍을 이루는 Reference 이미지가 필요하지 않다
• 신중하게 공식화된 비참조 손실함수(non-reference loss functions)를 통해 네트워크를 학습

 

Introduction

• 본 연구에서는 저조도 이미지 향상을 위한 새로운 딥러닝 기반 방법인 Zero-Reference Deep Curve Estimation(Zero-DCE)를 제안
• image-to-image 매핑을 수행하는 대신, 이미지별 곡선 추정 문제로 재구성
• 저조도 이미지를 입력으로 곡선을 출력으로 생성, 이러한 곡선을 사용하여 입력의 동적 범위를 픽셀 단위로 조정하여 저조도 이미지를 향상
• 곡선 추정은 향상된 이미지의 범위를 유지, 주변 픽셀의 대비를 보존하도록 공식화
• 이 곡선은 미분 가능하므로 딥러닝 신경망을 통해 매개변수 학습이 가능하다

본 연구의 기여는 다음과 같다

1. Reference 데이터가 필요하지 않은 최초의 저조도 향상 네트워크를 제안하여 과적합의 위험을 피함
2. 반복 적용을 통해 픽셀 단위 및 고차 곡선을 근사할 수 있는 이미지별 곡선을 설계
3. 향상된 이미지를 간접적으로 평가하는 비참조 손실함수(non-reference loss functions)를 제안

 

Related Work

기존 방식

• HE-based(Histogram Equalization) : 히스토그램 분포를 조정하는 방식으로, 전체적인(global) 조정과 국소적인(local) 조정 방식이 있음
• Retinex 이론 기반 : 이미지의 반사율(reflectance)과 조명(illumination) 성분을 분리하는 방식

 

데이터 기반 방식

• CNN 기반 : 학습에 짝을 이루는 데이터가 필요
• GAN 기반 : GAN 기반은 paired 데이터가 필요 없지만, 학습에 필요한 데이터 선택이 중요

 

Zero-DCE

• 히스토그램 분포 조정이나 물리 모델에 의존하지 않고 이미지 특유의 곡선 매핑을 통해 밝기를 개선
• reference 없이 학습하여 paired 데이터 필요성이 없음
• 경량화된 네트워크 구조로 고효율적이며 비용 절감이 가능

 

 

Methodology

Zero-DCE framework

 

Zero-DCE의 framework

• Deep Curve Estimation Network(DCE-Net)에서 입력 이미지를 통해 Light-Enhancement 곡선(LE-곡선) 세트를 추정
• 곡선을 반복적으로 적용하여 RGB 채널의 모든 픽셀을 매핑
• 최종적으로 향상된 이미지를 출력

 

 

Light-Enhancement Curve (LE-curve)

곡선을 설계의 세 가지 목표

1. 향상된 이미지의 각 픽셀 값은 오버플로우 손실을 방지하기 위해 [0, 1]의 정규화 범위에 있어야 한다
2. 이 곡선은 이웃 픽셀 대비를 보존하기 위해 단조로운 곡선이어야 한다
3. 이 곡선의 형태는 단순해야 하며 미분 가능해야 한다

 

세 가지 목표 달성을 위해 다음과 같이 이차 곡선을 설계

• x : 픽셀 좌표
• LE(I(x);α) : 주어진 입력 I(x)의 향상된 버전
• α : [-1, 1] 범위의 LE 곡선의 크기를 조정하고 노출 수준도 제어하는 학습 가능한 곡선 매개변수
• 각 픽셀은 [0, 1]로 정규화되고 모든 연산은 픽셀 단위로 수행
• LE 곡선을 세 개의 RGB 채널에 별도로 적용

 

고차 곡선(Higher-Order Curve)

• LE 곡선을 반복적으로 적용
• n은 곡률을 제어하는 반복 횟수, 논문에서는 n=8로 설정
• 고차 곡선을 통해 조정 기능이 더 강력(곡률이 더 큰)해 질 수 있다

 

픽셀별 곡선(Pixel-Wise Curve)

• 기존 방식에서는 전체 이미지에 동일한 조정 값(α)을 적용하기 때문에 특정 영역이 고하도하게 조정되거나 충분히 조정되니 않는 문제가 발생
• 이를 해결하기 위해 픽셀마다 다른 α값을 적용

• 여기서 A는 주어진 이미지와 크기가 같은 매개변수 맵
• 로컬 영역의 픽셀은 동일한 강도(곡선)를 가지고 있어, 인접 픽셀 간의 연속성을 유지

 

픽셀별 곡선 마라미터 맵

 

 

• 위 그림에서 세 채널의 추정된 곡선 매개변수 맵의 예시를 제시
• 다른 채널의 최적 적합 매개변수 맵은 유사한 조정 경향을 갖지만 값이 다름
• 각 픽셀에 맞춤 곡선을 적용하여 개선된 이미지를 얻을 수 있다
• 그림 (e)에서 보이는 것처럼, 어두운 영역은 더 밝게, 밝은 영역은 과도하게 조정하지 않으면서 본래의 밝기를 유지

 

DCE-Net

DCE-Net의 입력은 저조도 이미지, 출력은 고차 곡선에 대한 픽셀별 곡선 매개변수 맵 집합

 

 

구조로는

• 7개의 convolutional layer로 구성된 일반 CNN을 사용
• 각 layer는 크기가 3x3, stride가 1인 32개의 convolutional kernel로 구성, 뒤에 ReLU 활성화 함수가 온다
• 이웃 픽셀의 관계를 끊는 다운 샘플링과 배치 정규화는 하지 않는다
• 마지막 합성곱 레이어 뒤에는 Tanh 활성화 함수가 오고, 이 함수는 8번의 반복(n=8)에 대해 24개의 매개변수 맵을 생성

 

Non-Reference Loss Functions

DCE-Net에서 zero-reference 학습을 가능하게 하기 위해, 이미지 품질을 평가할 수 있는 미분 가능한 4가지 유형의 non-reference loss를 제안.

 

Spaital Consistency Loss

 

• 공간 일관성 손실은 입력 이미지와 향상된 이미지 간의 이웃 영역 차이를 보존하여 공간적 일관성을 촉진
• K : 로컬 영역의 개수
• Ω(i) : 영역 i를 중심으로 하는 네 개의 이웃 영역(위, 아래, 좌, 우)
• Y, I : 향상된 이미지와 입력이미지의 로컬 영역의 평균 강도값 (로컬 영역 4x4)

 

Exposure Control Loss

 

• 과소/과도 노출 영역을 제한하기 위해 노출 제어 손실을 설계
• 로컬 영역의 평균 강도 값과 잘 노출된 수준 E사이의 거리를 측정 (RGB 색상 공간에서 E를 gray level로 설정)
• E를 0.6으로 설정
• M : 크기가 16x16인 겹치지 않는 로컬 영역의 수
• Y : 향상된 이미지에서 로컬 영역의 평균 강도 값

 

Color Constancy Loss

 

• 향상된 이미지에서 잠재적인 색상 편차를 수정하고 조정된 세 채널 간의 관계를 구축하기 위한 색상 불변성 손실
• 각 채널의 색상 편차를 조정하고 전체적인 색 균형을 유지
• Jp : 개선된 이미지에서 채널 p의 평균 강도값
• (p, q) : 두 채널의 쌍

 

Illumination Smoothness Loss

 

• 인접 픽셀 간의 밝기 관계(단조성)를 유지를 위해 각 곡선 매개변수 맵 A에 Illumination smoothness loss를 추가
• N : 반복 횟수
• ∇x, ∇y : 각각 수평 및 수직 gradient 연산

Total Loss

• 전체 loss는 위와 같이 정의되며 Wcol과 WtvA는 손실의 가중치

 

 

Conclusion

• 저조도 이미지 개선을 위한 딥러닝 네트워크를 제안
• Zero-Reference 학습 방식으로 참조 이미지 없이도 non-reference loss를 이용하여 학습
• 기존 방법보다 Zero-DCE가 우수한 성능을 보임