Recognizing Multi-Modal Face Spoofing with Face Recognition Networks
1. Introduction
Anti-spoofing 알고리즘을 구현할 때, 기존 RGB 영상 외의 다른 모달리티를 이용하면 더 나은 효과를 볼 수 있다. IR 카메라는 전자 디스플레이서는 반응하지 않고, 깊이 카메라는 평평한 면을 쉽게 구분할 수 있다. 이처럼 이러한 모달리티는 서로 보완적인 정보를 줄 수 있다.
논문에서는 기존 [26]의 구조를 변경하여 각 모달리티를 각각 처리한 뒤 통합하여 face anti-spoofing 문제를 풀고자 하였다.
2. Related work
3. CASIA-SURF dataset
4. Proposed method
4.1 Attack specific folds
새로운 공격에도 강인함을 가지도록, 학습 데이터를 3 fold로 나누었다. 각 fold는 2개의 다른 종류의 공격을 가지며, 세번째 공격은 검증에 사용하였다. 학습이 끝마녀 3개의 네트워크를 하나의 모델로 간주하여 예측 점수를 평균하여 사용하였다.
4.2 Transfer learning
다른 연구들처럼 기존 공개된 데이터셋을 이용하여 백본 네트워크를 미리 학습시킨 뒤, 실제 데이터셋으로 fine-tuning하는 과정을 거쳤다. 여기에서는 좋은 초기값을 만들기 위해 Casia-Web face, AFAD-lite, MSCeleb-1M, Asian dataset의 4개의 데이터셋을 사용하여 pre-train을 하였다. 또한 Res-Net 기반의 여러 백본과 로스에 대해서도 초기값을 변화시켰다. 이들 네트워크는 4.1에서와 마찬가지로 평균한 점수를 사용하였다.
4.3 Model architecture
최종 네트워크는 SE모듈을 사용한 ResNet-34, ResNet-50 백본을 이용하엿다. 각 모달리티는 각각의 Residual 모듈로 입력된 뒤, 출력 특징은 SE 모듈을 이용하여 통합된 후 다시 Residual 모듈로 입력된다. 기존 방법과는 다르게 각 특징 단계마다 통합 블럭을 추가하여 더 풍부한 모델이 되도록 하였다. 각 통합 블럭은 이전의 통합 블럭과 현재의 residual block으로부터 특징을 받아 세세한 수준과 큰 수준에서의 모달간 관계를 찾도록 하였다.
여기에 각 모델마다 2개의 랜덤 시드를 사용하였다. 이로써 공격 방식에 대한 fold와 서로 다른 pre-trained 모델로 파생된 24개의 신경망에서 나온 점수를 모두 평균내어 사용하였다.
5. Experiments
각각의 변화를 적용시킨 결과는 아래 표와 같다.
각 모달리티의 효과는 아래와 같다. Depth의 영향이 큼을 알 수 있다.
