Alias-Free Generative Adversarial Networks

NVIDIA의 연구팀에서 2019년에 공개한 StyleGAN은 정규분포에서 임의로 sampling 된 latent style code를 통한 adaptive instance normalization을 통해 고해상도의 이미지를 효과적으로 생성할 수 있는 모델입니다. 그 이후로 모델 개량을 통해 여러 가지 문제점들을 개선한 StyleGAN2가 2020년에 공개되었고, 여기에 효율적으로 적용할 수 있는 data augmentation 방식이 동년에 StyleGAN2-ADA라는 이름의 후속작으로 공개되었습니다. 이렇듯 StyleGAN 시리즈는 여태까지 총 세 가지 버전의 모델로 발표되면서 이미지 생성과 관련된 GAN 분야에 큰 족적을 남겨왔습니다. StyleGAN2-ADA에 이르러서는 네 자리 수의 데이터만을 ..

2021.09.07

Perceptual Image Super-Resolution with Progressive Adversarial Network

Single Image Super-Resolution(SISR)은 저해상도(Low Resolution, LR)의 이미지를 고해상도(High Resolution, HR)로 복원하는 컴퓨터 비전 분야의 유서 깊은 문제입니다. 이 분야는 2014년에 혜성처럼 등장한 SRCNN을 통해 딥 러닝과 CNN이 도입되기 시작하였고, 2016년 SRGAN의 등장 이후로 GAN(Generative Adversarial Networks) 역시 SR 분야에 적극적으로 활용되기 시작했습니다. 여기서 GAN을 활용한 모델들은 GAN의 뛰어난 이미지 생성 능력을 기반으로 기존 모델보다 더 실제 사진과 같아 보이는 결과를 낼 수 있었고, 곧 SR 분야의 큰 비중을 차지하게 됩니다. SR 모델들은 기본적으로 LR 이미지를 입력 받고,..

2021.02.19

Image Processing Using Multi-Code GAN Prior

GAN(Generative Adversarial Networks)이 가지는 최고의 강점은 바로 주어진 데이터 분포를 모방함으로써 얻는 생성 능력입니다. 이를 이용해 이미지 생성 모델들은 눈부신 성장을 이뤘고, 2020년 현재에 이르러서는 BigGAN이나 PGGAN, StyleGAN과 같은 모델을 통해 만들어지는 고해상도의 이미지들은 무려 $512\times512$나 $1024\times1024$까지 이르는 해상도를 가질 정도입니다. 심지어 사람의 눈으로도 가짜라는 걸 분간할 수 없을 만큼 이미지의 품질 또한 좋습니다. 위의 사진은 BigGAN을 통해 생성된 $512 \times 512$ 크기의 이미지들인데, 이를 보고 단번에 실제 사진이 아니라고 분간할 수 있는 사람은 많지 않을 것입니다. GAN은 이와..

2020.12.27

PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

Single-Image Super-Resolution(SISR)은 저해상도(Low-Resolution, LR)의 이미지를 입력으로 받아 고해상도(High-Resolution, HR)의 이미지로 복원하는 것을 목표로 하는 기술입니다. 이때 LR 이미지와 HR 이미지 사이의 관계는 일대다 관계입니다. 서로 다른 이미지라도 다운스케일링을 통해 같은 이미지가 되는 경우가 생기기 때문입니다. 이러한 특성 때문에 SISR은 여러 개의 미지수를 포함하는 하나의 방정식을 푸는 것처럼 가능한 답이 여러 개가 나올 수 있는 ill-posed problem으로 분류됩니다. SISR은 고해상도 이미지를 필요로 하는 곳이라면 어디든 활용될 수 있습니다. 이번 포스트에서는 그 중에서 얼굴에 대한 SISR에 대해 집중적으로 다뤄볼..

2020.12.21