一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫

发布于 2024-4-28 09:35
浏览
0收藏

AI 帮你来试衣,想穿什么款式一键搞定。


精准捕捉服装细节,衣服纹理、图案、缝线等属性高度还原:


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

即使是在户外,AI 试衣也能准确展示试穿效果,保持较高质量的输出:


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区


人物坐立姿势对衣物有遮挡,AI 也会毫无破绽的实现一键换衣,高度保持服装细节的一致性:


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

既然 demo 演示这么厉害,那试试让黄仁勋、奥特曼、霉霉等名人穿上机器之心的文化衫,出来的效果会怎么样呢?


换装 1:


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区


换装 2:


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

换装 3:


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

试用地址:https://huggingface.co/spaces/yisol/IDM-VTON


试用了几轮下来,换装效果的确不错,但也有一些瑕疵,比如换装后有时会出现大花臂、衣服上的字体没有很好地还原、手部变形。


上面展示的虚拟试衣技术由韩国科学技术院 (KAIST) 、 OMNIOUS.AI 共同打造,他们提出了一种名为𝐈𝐃𝐌-𝐕𝐓𝐎𝐍的新型扩散模型,该技术在提高服装保真度的同时,还能生成真实的视觉效果。


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

  • 论文地址:https://arxiv.org/pdf/2403.05139.pdf
  • 论文主页:https://idm-vton.github.io/
  • 论文标题:Improving Diffusion Models for Authentic Virtual Try-on in the Wild


IDM-VTON 整体 pipelne 如下图左所示:IDM-VTON 包括(1)TryonNet 用于处理人物图像;(2)图像提示适配器(IP-Adapter)用于编码服装图像的高级语义;(3)GarmentNet 用于编码低级特征。


在 UNet 输入中,本文将人物图像潜在的噪声潜在与分割掩码、掩码图像和 DensePose 进行了拼接。本文还提供了服装的详细说明(例如,[V]:短袖圆领 t 恤),然后这些说明作为 GarmentNet 和 TryonNet 的输入提示。


注意力模块细节如下图右所示:TryonNet 和 GarmentNet 的中间特征被连接起来并传递到自注意力层,并使用输出的前半部分(即来自 TryonNet 的部分)。然后通过交叉注意力层将输出与来自文本编码器和 IP-Adapter 的特征融合。此外,本文还对 TryonNet 和 IP-Adapter 模块进行微调,同时冻结其他组件。


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

最后,我们再展示一下 IDM-VTON 的其他效果。


多人试穿同一件衣服:结果显示 IDM-VTON 可以生成高保真图像,识别服装细节。


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

IDM-VTON 和其他方法的比较结果可以看出,IDM-VTON 能够生成真实的图像并能够保留服装的细粒度细节。


一键换装,让奥特曼、黄仁勋穿上机器之心的文化衫-AI.x社区

了解更多内容,请参考原论文。


本文转自 机器之心 ,作者:机器之心


原文链接:​​https://mp.weixin.qq.com/s/WpaA_ljo6FKvg_CSzPUtyA​

标签
收藏
回复
举报
回复
相关推荐