하루에도 수만개의 글자를 읽고 있습니다. 하루에도 수백장의 종이를 들춰 읽습니다.
이것은 그 읽기에 대한 일기입니다.
Adaptive Batch Normalization for practical domain adaptation
5월 29th, 2020 Posted by 룬룬
- Domain adaptation 관점에서 label과 관련된 지식은 각 레이어의 weight matrix에, domain에 관련된 지식은 Batch Normalization 레이어에 저장되어 있다고 가정하였을 때, BN 레이어를 target domain에 맞게 수정하는 AdaBN을 제안하였다.
- 이 방법을 사용하면 따로 튜닝이 필요없이 최소한의 작업으로 다양한 도메인으로의 domain adaptation이 가능하다.
- 학습 시에는 BN이 포함된 일반적인 DNN 모델을 이용하여 학습을 시킨다.
- 그 후 target domain의 모든 데이터에 대해 각 레이어의 response를 계산한다.
- 각 레이어의 response들에 대해서 BN 레이어의 파라미터를 다시 계산한다.
- AdaBN은 domain shift 문제를 완화시킬 수 있다.
- Gaussian kernel을 이용한 MMD의 경우에는 모든 모먼트에 대한 거리를 줄이도록 되어있지만 AdaBN은 1차 2차 모먼트에 대해서만 관여하고 있고, MMD와 같이 커널 계산에 대한 시간이 필요하지 않다.
Add a Comment Trackback