논문

하루에도 수만개의 글자를 읽고 있습니다. 하루에도 수백장의 종이를 들춰 읽습니다.
이것은 그 읽기에 대한 일기입니다.

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

1 Introduction

  • 이 논문에서는 Generative Adversarial Networks (GANs)를 이용하여 좋은 이미지 표현을 생성하는 방법을 알아보고자 한다. 그리고 나중에는 generator와 discriminator 네트워크의 일부를 특징 추출기로 사용하고자 한다.
  • 논문의 기여는 다음과 같다.
  • GAN의 학습을 안정적으로 하기 위하여 Convolutional GANs의 구조적인 토폴로지에 제한을 두는 방법을 제안하고 이들을 평가한다. 이 방법을 Deep Convolutional GANs (DCGAN)이라고 한다.
  • 학습된 discriminator를 이미지 분류 작업에 사용하고, 그 성능을 보았다.
  • GAN 내부의 필터를 시각화하고 각 필터들이 특정 객체를 그리도록 학습됨을 보였다.
  • Generator가 벡터 연산과 같은 성질을 가지는 것을 보이고, 이를 이용하여 특정 의미를 가지도록 하는 샘플을 쉽게 생성할 수 있음을 보인다.

2 Related Work

3 Approach and Model Architecture

  • 논문의 핵심은 최근 제안되었던 CNN 구조의 변형들을 수정하고 적용한 것이다.
  • 첫번째는 모든 컨볼루션 네트워크가 가지는 결정론적인(deterministic) 지역 풀링 함수를 스트라이드된 컨볼루션으로 변경한 것이다. 이것으로 네트워크는 자신만의 다운샘플링을 할 수 있게 된다. 이 방법은 generator와 discriminator에도 적용되었는데, geneator는 자신만의 업샘플링 필터를 가지는 효과 또한 있다.
  • 두번째는 CNN 마지막 컨볼루션 특징 위에 fully connected 층을두는 것을 제거하였다.
  • 이것의 가장 극단적인 예제는 global average pooling을 쓰는 방법이 제안 Mordvintsev에 의해 되었는데, 이 global average pooling은 모델의 안정성을 높이지만 수렴 속도를 느리게 하는 단점이 있다.
  • 따라서 그 타협점으로 가장 상위의 컨볼루셔널 특징을 그대로 generator의 입력과 discriminator의 출력으로 사용하고자 한다.
  • 그외 Batchnorm을 generator와 discriminator에 적용하였고, ReLU를 generator의 모든 층에 사용하였으며, 단 generator의 마지막 층은 ReLU 대신 tanh를 사용하였다. descriminator에는 LeakyReLU를 사용하였다.

4 Detailed of Adversarial Training

5 Empirical Validation of DCGANs capabilities

6 Investigating and visualizing the internals of the networks

7 Conclusion and Future Work

 


Add a Comment Trackback