Glare region detection in night scene using multi-layering
불명확한 부분이 많고 여러가지를 미루어보았을 때, 학부생이거나 비전공자가 쓴 논문이 아닐까 싶습니다. 크게 도움되는 부분은 없었지만 기록을 위해 남겨 놓습니다.
1. Introduction
컴퓨터 비전의 여러 기술들이 실생활에 적용되고 있지만, 아직 대부분은 낮/실내를 대상으로 하고 있습니다. 밤 영상에 대해서는 여러가지 연구들이 진행되고 있지만 아직까지는 조명을 잘 받은 상태여야 동작하는 것이 일반적입니다. 따라서 광원을 검출하고, 광원으로부터 생기는 부작용을 보상해주는 것이 중요합니다.
밤에 조명에 의해 생기는 왜곡은 크게 두가지로 blooming과 smearing입니다. 보통 이러한 왜곡들은 전처리와 후처리 과정을 거쳐 해결하게 되는데, 먼저 영상을 얻을 때의 카메라의 특성을 조절하는 전처리 과정을 거친 다음 얻어진 이미지를 처리하는 후처리 과정을 거칩니다. 여기에서는 후처리 과정에서 광원을 검출하는 이야기를 하고 있습니다.
2 Glare region detection
높은 밝기의 물체에 의해 생성된 눈부심 영역을 찾기 위해서는 빛 왜곡에 대한 모델링이 필요합니다. 여기서는 다층(multi-layer) 구조를 통한 모델링과 그것에 따른 눈부심 영역을 찾는 방법을 제안합니다. 먼저 눈부심 영역의 층을 분리하기 위하여 distance transformation을 통한 다층 구조를 생성합니다.
2.1 Layer Separation
원래 영상에서 레이어들로 분리하기 위해 bilateral filter를 사용하였습니다. 밤에는 조명의 불균일성이 노이즈의 원인이 됩니다. bilateral filter는 에지에 대해 샤프닝 효과도 가지고 있을 뿐더러 디노이징과 스무딩 효과도 가지고 있습니다. 다음 층을 생성하기 위하여 그 결과를 quantize하였습니다. 이렇게 하면 false contour가 광원 주변에서 나타나게 됩니다.
2.2 Layer Linking
나누어진 각 레이어들을 혼합하여 하나로 만들기 위해 seed point와 similarity를 측정하였습니다.
눈부심 영역은 광원으로부터 생성되기 때문에 먼저 가장 아주 밝은 물체를 찾고자 합니다. HSV 컬러 공간에서 hue 채널이 일정 수준 이상 임계치를 넘는 것을 기준으로 광원의 위치를 찾습니다. 이렇게 찾은 부분을 seed point로 설정하고 픽셀들을 labeling하여 그룹핑을 합니다.
다음 각 층을 그룹으로 연결하기 위한 similarity를 측정할 방법이 필요합니다. 이 방법은 인접하는 층과의 shape의 similarity를 평가할 것입니다. 이러한 방법은 이미 [4]에서 shape와 silhouette를 이용한 방법이 나와있지만, 여기에서는 smearing이 불규칙적인 퍼짐 특성을 갖기 때문에 사용하기 어렵습니다. 따라서 distance transform을 사용하여 similarity를 측정할 것입니다.
$$\frac{n(L_U \cap L_L)}{n(L_U \cup L_L)} \geq \text{thres}, L_U \subset L_L$$
여기서 $L_U, L_L$은 상위, 하위 레이어를 나타내며 $n$은 영역의 크기를 나타닙니다. 두 층간의 크기 차이가 일정 비율 이상을 넘기면 두 층을 하나의 그룹으로 통합게 됩니다. 이것을 모든 seed point에 대하여 모두 적용합니다. 결과로 나타나면 연결된 다층들이 바로 눈부심 영역이 됩니다.
3 Experimental results
distance transform의 임계값은 100, similarity는 0.66, quantization은 15레벨로 적용하였습니다.