AIGC / 其他 · 2023-12-29

VAE与GAN潜空间数据解码器的学习随笔

VAE(Variational Autoencoder)

工作原理:VAE是一种自编码器(Autoencoder)的变种,通过学习数据的潜在表示来实现数据的生成和重构。与传统自编码器不同的是,VAE引入了概率潜在空间,并通过编码器将输入数据映射到潜空间的概率分布,再通过解码器从潜空间中抽样生成新数据。

特点:VAE能够学习数据的连续、平滑的潜在表示,同时具有对潜空间的控制能力。通过在潜空间中进行插值和操作,可以生成具有连续变化的新数据。

应用:VAE在图像生成、特征学习、图像重构等领域得到广泛应用,特别是在生成具有艺术风格的图像和进行图像编辑方面表现出色。

GAN(Generative Adversarial Network)

工作原理:GAN由生成器(Generator)和判别器(Discriminator)组成,二者通过对抗训练的方式共同学习。生成器负责生成伪造数据,判别器负责区分真实数据和生成数据。在训练过程中,生成器试图生成逼真的数据以欺骗判别器,而判别器试图区分真实数据和生成数据。

特点:GAN能够生成非常逼真的数据,因为生成器和判别器在对抗训练中不断提高对方的水平。这种对抗训练的机制使得生成器能够学习生成高质量的数据。

应用:GAN在图像生成、图像修复、风格迁移、文本生成等领域取得了显著的成就。例如,StyleGAN系列模型可以生成高分辨率、逼真的人脸图像。


VAE与GAN的比较

  • 生成质量:GAN通常能够生成更逼真的数据,因为其训练过程是通过对抗学习来提高生成器的生成能力。
  • 潜空间:VAE生成的潜空间通常更连续、平滑,有利于控制和操作。而GAN学习的潜空间可能更离散。
  • 训练稳定性:VAE通常更容易训练,因为其训练过程是基于最大化似然概率。GAN的训练可能更不稳定,需要谨慎调整超参数和网络结构。


学习来源汇总:
1. 【详解】LoRA, ControlNet等Stable Diffusion微调方法原理详解!
2. 【入门】计算机小白从根本上理解StableDiffusion和ControlNet
3. 简单易懂Diffusion模型综述 – 基础算法详解
4. diffusion model 最近在图像生成领域大红大紫,如何看待它的风头开始超过 GAN ?