A Real Time Object Detection Approach Applied to reliable Pedestrian Detection
1. Introduction
2. Inverse perspective projection based obstacle detection
IPM(Inverse perspective projection)을 이용한 장애물 검출은 바닥이 평평하다는 가정에서 원근 효과를 제거하는 방법이다. 이 논문에서 평평하다는 가정은 물체 검출에만 사용되고, 바닥의 울퉁불퉁함으로부터 오는 카메라의 피칭이나 롤링의 영향은 fast image stabilization 방법을 이용하여 보상해주었다.
A. Perspective Projection and Inverse Perspective Projection
B. Inverse Perspective Mapping based Detection
두개의 시간차가 있는 이미지를 지면에 대해서 IPM을 수행한다. 변환된 이미지를 서로 뺀 뒤, 이진화하여 검출 과정에서 사용한다. 이 과정에서 에고 모션에 대한 정보가 필요하다.
C. Fast Digital Image Stabilization
지면이 평평하다는 가정을 사용하였지만 이는 실제 도로에서는 좋지 않다. 더군다나 피칭과 롤링이 나타난다면 이미지가 비틀어져 연석과 같은 부분이 물체인 것처럼 나타날 수 잇다. 이러한 현상을 보상해주기 위하여 빠른 2D 이미지 안정화 방법을 사용하였다. 여기서는 Yeni와 Erturk의 연구를 확장하여 사용하였는데, 본래 연구에서 2개의 이미지를 직접 사용하는 것과는 달리 에고 모션을 반영한 IPM 변환된 이미지를 사용하였다. 때문에 에고모션에 대한 부분은 보상되어야 할 필요가 없어지고, 지면에 의한 피칭만이 그 대상으로 한정된다.
3. Fast low level pedestrian segmentation
Pedestrian Detection Strip (PDS)를 사용하여 검출과 세그멘테이션 단계에서 사용되는 시간을 줄였다. 또한 세로 방향으로의 저수준 세그멘테이션 알고리즘을 사용하여 보행자 후보를 검출하는데 너무 많은 시간이 소요되지 않도록 하였다. 대부분의 오탐지 물체는 나무나 기둥에서 나타났지만 분류 모듈에서 이들을 걸러낼 수 있었다.
A. Pedestrian Detection Strip
성인 보행자는 거리와는 관계없이 대부분 씬의 지평선 근처에 위치하게 된다. 따라서 시간을 줄이기 위해 지평선 아래로 30픽셀 부분의 영역만을 사용하엿다. 이 영역은 실제 자동차로부터 50미터 정도 떨어진 위치에 해당한다. 캘리브레이션 결과를 통해 보면 이 위치에서의 보행자는 15픽셀 정도의 크기로 나타난다.
작은 어린이의 경우 이와는 다른 형태로 나타나게 될 것이나, 이를 해결하고자 한다면 또다른 두번째 PDS를 설계하여 좀더 아래부분을 조사하여야 한다.
B. Segmentation based on Morphological Operations
지면이 평평하지 않기 때문에 원치 않은 부분에서 마치 노이즈와 같이 물체로 인식이 될 것이며, 차선과 같은 부분 또한 물체처럼 추추될 것이다. 이러한 것들은 이미지 안정화를 적용하더라도 나올 수 있는 부분이라 노이즈 제거 단계를 사용하여 좀 더 나은 결과를 낼 수 있다.
여기서는 가로, 세로 모폴로지 연산을 이용하여 작은 크기의 노이즈를 제거하였다. 동시에 보행자는 세로 방향으로 나타나기 때문에 세로 방향 에지를 강조하였다. 결과적으로 강한 세로 형태의 영역만이 남게 된다. 이러한 영역은 보행자 세그멘테이션의 후보로 사용된다.
C. Foot Point Search and Region of Interest Selection for Pedestrian Candidates
앞에서 추출된 후보들에게 각각 보행자를 포함할 가능성이 있는 ROI를 할당한다. ROI내에서 소벨 에지 이후 스레스홀딩을 통해 이진화된 에지 이미지를 생성한다. 가장 상단에서 아래 방향으로 내려가면서 연결성을 검사하여 최종 픽셀을 발 지점으로 사용한다.
이제 발 지점을 지면 기준으로 변환하여 높이 1.8미터, 폭 0.9미터 지점으로 박스를 그려 최종적으로 보행자 ROI로써 사용한다.