英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

新闻 人工智能
继GauGAN2之后,英伟达推出了一个GAN的“超级缝合体”——PoE GAN。

[[440170]]

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

继GauGAN2之后,英伟达推出了一个GAN的“超级缝合体”——PoE GAN

PoE GAN可以接受多种模态的输入,文字描述图像分割草图风格都可以转化为图片。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

而且它可以同时接受以上几种输入模态的任意两种组合,这便是PoE的含义。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

所谓PoE是Hinton在2002年提出的“专家乘积”(product of experts)概念,每个专家(单独模型)被定义为输入空间上的一个概率模型。

而每种单独的输入模态都是合成图像必须满足的约束条件,因此满足所有约束的一组图像是满足每个约束集合的交集。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

假设每种约束的联合条件概率分布都服从高斯分布,就用单条件概率分布的乘积来表述交集的分布。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

在此条件下,为了使乘积分布在一个区域具有高密度,每个单独的分布需要在该区域具有高密度,从而满足每个约束。

而PoE GAN的重点是如何将每种输入混合在一起。

PoE GAN的设计

PoE GAN的生成器使用全局PoE-Net将不同类型输入的变化混合起来。

我们将每个模态输入编码为特征向量,然后使用PoE汇总到全局PoE-Net中。解码器不仅使用全局PoE-Net的输出,还直接连接分割和草图编码器,以此来输出图像。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

全局PoE-Net的结构如下,这里使用一个潜在的特征矢量z0作为样本使用PoE,然后由MLP处理以输出特征向量w。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

在鉴别器部分,作者提出了一种多模态投影鉴别器,将投影鉴别器推广到处理多个条件输入。

与计算图像嵌入和条件嵌入之间单个内积的标准投影鉴别器不同,这里要计算每个输入模态的内积,并将其相加以获得最终损失。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

随意变换输入的GAN

PoE可以在单模态输入、多模态输入甚至无输入时生成图片。

当使用单个输入模态进行测试时,PoE-GAN的表现优于之前专门为该模态设计的SOTA方法。

例如在分割输入模态中,PoE-GAN优于此前的SPADE和OASIS。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

在文本输入模态中,PoE-GAN优于文本到图像模型DF-GAN、DM-GAN+CL。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

当以模式的任意子集为条件时,PoE-GAN可以生成不同的输出图像。下面展示了PoE-GAN的随机样本,条件是两种模式(文本+分割、文本+草图、分割+草图)在景观图像数据集上。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

PoE-GAN甚至还能没有输入,此时PoE-GAN就会成为一个无条件的生成模型。以下是PoE-GAN无条件生成的样本。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

团队介绍

论文通讯作者是英伟达著名工程师刘洺堉,他的研究重点是深度生成模型及其应用。英伟达Canvas和GauGAN等有趣的产品均出自他手。

[[440173]]

论文一作是黄勋,北京航空航天大学本科毕业,康奈尔大学博士,现在在英伟达工作。

英伟达推出GAN“超级缝合体”,输入文字草图都能生成逼真照片

论文地址:
https://arxiv.org/abs/2112.05130

PoE:
https://www.cs.toronto.edu/~hinton/absps/icann-99.pdf

投影鉴别器:
https://arxiv.org/abs/1802.05637

 

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2021-12-06 09:35:38

英伟达人工智能软件

2023-03-01 10:04:46

ChatGPTAI云服务

2012-07-09 09:53:24

超级计算机Tesla GPU

2021-12-22 10:04:11

模型人工智能3D

2023-12-08 08:16:24

2023-11-01 13:47:44

2021-04-19 09:22:03

科技人工智能技术

2023-05-11 08:48:58

谷歌超级计算机

2021-10-12 15:03:18

模型人工智能深度学习

2018-05-02 16:00:47

人工智能图像重现

2022-03-18 15:01:36

元宇宙小冰AI

2021-11-16 15:34:30

计算机互联网 技术

2020-10-16 16:25:50

人工智能技术计算机

2022-11-21 10:59:02

人工智能

2023-08-14 07:59:00

英伟达开源

2021-11-22 10:19:09

英伟达人工智能数据

2023-01-31 11:06:01

模型算力

2023-08-28 13:06:48

英伟达DLSSAI

2023-05-29 18:36:31

2023-02-09 15:37:04

AI技术
点赞
收藏

51CTO技术栈公众号