Pedestrian detection using a single monochrome camera
1 Introduction
2 System description
이 논문에 나온 부분은 서브 블럭의 검출과 세그멘테이션 과정으로 구성되는 행자 후보 검출 부분을 설명한다. 보행자 검출 방법은 2개의 영역으로 구분되어 작동하는데, 근거리 영역과 원거리 영역으로 구분하고, 각 영역에 대해 2개의 서로 다른 접근 방법을 사용한다. 근거리에서는 관심점 기반(interest point-based) 검출 알고리즘을, 원거리에서는 IPM기반의 장애물 검출 알고리즘을 사용한다. 그 뒤 두개의 결과를 통합한 뒤, 발 부분을 찾아 보행자 크기의 바운딩 박스를 생성한다. 그 뒤 각 바운딩 박스는 대칭성 검사와 필터링 과정을 통해 정교화된 뒤, 하이 레벨 프로세싱 단계로 넘겨진다.
3 Near range pedestrian detection
근거리 영역에서의 보행자 인식은 기존 방식과는 다른 테크닉을 원하는데, 이는 차 가까지 있는 보행자는 이미지에 크게 나타나 많은 부분을 가려버리기 때문이다. 또한 에고모션으로 인하여 생기는 움직임은 멀리 있는 보행자보다 상대적으로 크게 나타난다. 따라서 여기서는 관심점들로부터 생성된 스파스 옵티컬 플로우 필드를 이용한다. 관심점들이 구해지면 이는 트래킹되면서 동시에 땅에서 기인된 것인지 검사하는 단계를 거치고 여기에 어긋나는 점들은 클러스터링된다. 이 클러스터링의 평균 모션 벡터과 중심 위치에 따라 러프하게 보행자인지 판단한다.
3.1 Interest point detection and tracking
관심점을 추출하기 위해서 Harris corner를 사용하여 차량 후드 위 영역에 대해서만 추출한다. 추출된 관심점에 대해서 1차, 2차 미분 값들을 계산하여 디스크립션 벡터를 계산한다. 새로운 프레임에서 추출된 관심점과의 디스크립션 벡터 차이가 가장 작은 점을 같은 특징점으로 간주하며 칼만 필터를 통해서 이를 추적한다.
3.2 Obstacle detection
지면에서 나온 관심점은 차량이 이동함에 따라 다른 위치로 이동되어 프로젝션된다. CAN(Controller Area Network) 데이터를 이용하여 자차의 이동을 알 수 있고, 캘리브레이션 된 카메라가 있다면 이를 이용하여 관심점이 어느 위치로 이동될 것인지 예상할 수 있다. 예상된 지점과 실제 위치간의 유클리디언 거리 $r_t$ 를 계산한다.
트래킹이 진행됨에 따라 각 점에 대해 바닥인지 장애물인지를 가늠하는 점수 $s_t$를 계산한다.
$$ s_t = 0.65 \cdot s_{t-1} + 1.35 \cdot r_t $$
점수가 일정 임계치를 넘기면 그 관심점을 장애물로 구분한다.
3.3 Clustering
관심점들의 위치와 점수, 방향을 토대로 클러스터링을 수행한다. 클러스터간 거리는 Ward의 거리를 이용한다.
3.4 Threat assessment
클러스터의 가로 세로 크기가 일정 이상을 넘고 이동 방향이 이미지의 건너편으로 이동하면 물체로 판단한다.
4 Far range pedestrian candidate detection
4.1 IPM detection
4.1.1 Conventional approach
4.1.2 Improvement of the IPM approach
기존 방법과는 달리 두번째 이미지만을 지면으로 프로젝션 하고, 에고 모션을 반영한 뒤, 다시 원래 이미지 공간으로 프로젝션 시킨다. 이와 첫번째 이미지를 직접 비교하면 계산량을 줄일 수 있다.
4.1.3 Pedestrian detection strip
세로 30픽셀의 PDS 영역을 매 세로 위치마다 사용하지 않고 10픽셀 단위로 쉬프트하여 처리한다. 이것으로 계산량을 줄일 수 있다. 대부분의 경우, 이 PDS 영역에서 지면은 비슷하게 분포하기 때문에 물체를 쉽게 찾을 수 잇다.
4.2 Improvement through 1D profile
컨트래스트가 적은 이미지나 매우 작은 에고 모션 상황의 경우에는 검출 위치가 적게 나오기 마련이다. 에지에서 검출된 영역이 센서 노이즈에 의한 겅신지 패턴에 의한 것인지 구분하기가 힘들다. 보행자 영역에서는 배경보다 세로 방향의 에지가 더 많다는 가정을 이용하여 세로 방향으로 에지를 누적하여 물체가 있음을 판단한다.
5 Low-level segmentation
앞의 두가지 방법으로 물체가 있는 가로 위치는 찾을 수 있었다. 이제 물체의 위치와 크기 정보를 구해야 한다. 여기서는 발의 위치를 찾는 것으로 물체의 위치를 찾고자 한다. 위치가 찾아지면 지면이 평평하다는 가정하에 실제 위치를 계산할 수 있다. 발을 중심으로 1.8 m 높이와 0.9 m 가로 방향으로 박스를 생성하고 이를 이미지로 프로젝션 한다.
5.1 Foot point search
발을 찾는 것은 2가지 중요한 부분이 있는데, 발 찾는 방법의 정확도와 카메라 피치이다. 비치의 경우 fast stabilisation 알고리즘으로 어느정도 보상이 가능하다. 발 탐색의 경우, 근거리 보행자의 문제와 그림자나 도로 경계에 서 있는 경우를 해결해야한다.
PDS 내에서 Sobel 에지를 이용하여 에지를 찾아내고, 허프 트랜스폼을 통해 보행자가 아닌 부분에서 나온 작은 에지들을 제거한다. 각 PDS마다 발 지점 탐색의 ROI로 사용한다. ROI 내에서 에지의 제일 아래 지점을 발 지점으로 사용하고 박스를 생성한다.
5.2 Symmetry search and verification
이렇게 찾아진 박스는 사람의 다리가 중앙에 오도록 잘 정렬되어있지 않다.
5.2.1 Search region
저자는 전체 영역에 대해 대칭성을 검사하지 않고 박스의 아래의 다리 부분만 검사하여 대칭성을 검사하였다. 아래 부분의 높이는 전체 박스의 1/3으로 결정한다.
5.2.2 Symmetry search
대칭성은 에지 이미지에서 이루어지는데 가로 4개 세로 2개의 서브 영역으로 나눈 뒤, 각각 밀도, 거리 기울기 에지 밀도의 대칭성을 계산한다.