하루에도 수만개의 글자를 읽고 있습니다. 하루에도 수백장의 종이를 들춰 읽습니다.
이것은 그 읽기에 대한 일기입니다.

NormFace: L2 Hypersphere Embedding for Face Verification

5월 26th, 2020 Posted by 룬룬

Softmax의 수식에 있는 exp 함수에 의해 학습에 이용되는 인물의 수가 많아질 수록 True class의 출력 값이 낮아진다.
이는 embedding과 마지막 Linear layer의 가중치 벡터들이 normalization된 것을 사용하기 때문에 exp 함수의 입력이 [-1, 1]의 범위를 갖기 때문이다.
이상적인 경우 완벽하게 분류하였음에도 불구하고 인물의 수가 10인 경우 0.45, 인물의 수가 1000인 경우 0.007 의 값밖에 가질 수가 없다.
이러한 경우 true class에 대하여 강한 gradient가 걸리고, false class에 대해서는 상대적으로 적은 gradient가 걸려 학습이 제대로 되지 않는다.
Normalization된 embedding과 Linear layer의 가중치 벡터를 이용하여 Linear layer를 통과시킨 뒤, softmax에 넣기 전에 scale parameter 를 곱하여 값을 증폭 시킨 뒤 softmax를 처리하여 gradient의 scale를 조절하였다.
는 지정하여도 좋지만 learnable parameter로 학습에 참여시켰다.
추가로 softmax를 metric learning의 관점에서 다시 해석하였다.
Metric learning을 사용하기에는 샘플 페어를 만드는 것이 번거롭기 때문에 그 대신, 입력 샘플과 Linear layer의 가중치 벡터들을 페어로 보고 새로운 C-contrasive, C-triplet 로스를 제안하였다. 여기에는 margin parameter 이 존재한다.

논문