Local Blur Assessment in Natural Images
1 Introduction
디지털 이미지의 품질 평가는 여러 영역에서 중요한 역할을 하고 있습니다. 품질 평가 방법은 크게 두 가지로 나뉘어 full-reference (FR)와 no-reference (NR)로 나눌 수 있습니다. 여기에 최근 reduced-reference (RR)이 연구되기 시작하였습니다. 이 논문은 no-reference 이미지 품질 평가 알고리즘을 디자인하였습니다. 특히 식물의 접사 사진에서의 블러 검출하기 위한 알고리즘입니다.
접사는 사진을 매우 가까이에서 찍는 으로 물체는 매우 샤프하게 나오지만 배경은 흐려지게 됩니다. 따라서 접사 사진은 에지들과 텍스쳐 영역과 색이 균일한 영역을 나뉘게 됩니다. 마지막 부분으로 인하여 블러의 잘못된 인식으로 이미지 전체의 질을 계산하는 것을 방해하게 됩니다.
이 논문의 목표는 빠르면서도 찍힌 물체가 샤프한지 안한지 알아내는 것입니다. 어떤 알고리즘들은 이미지 전체의 품질 점수를 계산하기 때문에 이러한 접사 이미지에서는 적절하지 못합니다. 여기에서는 지역적인 블러를 평가함으로써 사진을 평가하고자 합니다.
2. Related Work
3. Methodology
Multi-resolution analysis는 블러를 추정하기 위한 괜찮은 방법으로 알려져 있습니다. 지역적 특성은 사진의 에지가 높은 주파수 성분으로 나타나게끔 합니다. 지난 Tong의 연구에 따르면 에지는 4가지 Dirac-, Roof-, Astep-, Gstep-Structure로 나눌 수 있습니다. Tong은 블러 커널의 분석 없이 곧바로 블러 정도를 계산하였으며, 풍경 사진에서 잘 작동함을 보였습니다. 하지만 이를 접사 사진에 적용하여도 전체적으로 블러가 들어갔다고만 한다면 잘 작동하였습니다. 하지만 물체가 움직이거나, 배경이 블러된 것과 같이 일부분만 블러되는 경우에는 잘 작동하지 않았습니다.
Out-of-focus 블러는 두가지로 나눌 수 있어, 배경이 블러되고 물체가 샤프한 경우와 물체가 블러되고 배경이 샤프한 경우로 나눌 수 있습니다.
3.1 Poposed Method
3.1.1 Block Selection
이미지 I를 서로 겹치지 않는 여러 블럭 $I_b$로 나눕니다. wavelet decomposition에 따라 알맞은 크기는 $2^n$ 크기를 가지는 것이 좋습니다.
세그멘테이션 모델 $I_s$는 물체의 대략적인 컨투어를 찾은 것입니다. 2개 콤포넌트의 가우시안 믹스쳐와 Mahalanobis 거리를 사용하여 계산할 수 있습니다. 그 후 $I_s$는 원래 이미지 블록$I_b$와 같은 크기로 나눕니다.
이제 아래의 절차를 적용합니다.
먼저 물체의 컨투어가 블럭이 있는지 계산하고, 그렇지 않은 블럭들은 계산 대상에서 제외합니다. 경계를 포함한 애매한 블럭을 위하여 2개의 threshold를 정하고 이를 토대로 물체 부분인지 배경인지를 계산합니다.
3.1.2 Local Blur Detection
이제 계산 대상 블럭을 wavelet transform을 이용하여 분리합니다. Tong의 연구에 따라 에지 타입을 분류한 뒤, $E_{map_i}(p, q) = \sqrt \int dc_i^2 dt, \ i = 1,2,3$로 에너지 맵을 생성합니다. dc는 각 레벨에서의 detail coefficient입니다.
Tong의 연구를 사용하기 위해서 4개의 에지들의 수를 계산합니다. 그 뒤는 Tong의 연구와는 달리, threshold를 사용하지 않고 C4.5 기반의 결정 트리를 사용합니다. 1504 블록의 이미지가 수작업으로 완료되어 입력되었습니다. $N_{edge}$는 에지의 수, $N_{brg}$는 Dirac과 AStep 에지의 수를 의미합니다. $I_b$는 이미지의 블러 되었는지 안 되었는지를 판단하는 레이블을 작성하였습니다. 이러한 알고리즘을 잘라진 각 블럭이 적용하여 블러되었는지 아닌지를 검사합니다.
마지막으로 전체 블럭의 수에, 블러된 블럭이 몇개 있는지 검사하여 블러 점수를 평가합니다.
4 Experimental Results
LIVE 데이버에스와 ReVeS 데이터베이스를 사용하였습니다. 이미지를 1504의 블럭으로 나누었으며, 2개 카테고리로 분류하였습니다. 비교할 다른 블러 검출 방법은 CPBD, BIQI를 사용하였습니다. 가장 작은 블럭의 크기는 $2^7 \times 2^7$이며 이보다 작아지면 모든 에지를 검출할 수가 없었습니다.