苹果展示 AI 新模型 MGIE,可一句话精修图片

新闻 人工智能
苹果公司近日发布了名为“MGIE”的新型开源人工智能模型,它可以根据自然语言指令编辑图像。

2 月 8 日消息,相比较微软的风生水起,苹果公司在 AI 领域的布局显得低调很多,但这并不意味着苹果在该领域就没有丝毫建树。苹果公司近日发布了名为“MGIE”的新型开源人工智能模型,它可以根据自然语言指令编辑图像。

图源:VentureBeat 与 Midjourney 合作制作

MGIE 的全称是 MLLM-Guided Image Editing,利用多模态大型语言模型(MLLM)解释用户指令并执行像素级操作。MGIE 可以理解用户下达的自然语言命令,进行 Photoshop 风格的修改、全局照片优化和局部编辑等操作。

苹果公司和加州大学圣巴巴拉分校研究人员合作,在 2024 年国际学习表征会议(ICLR)上发表 MGIE 相关研究成果,而 ICLR 是人工智能研究的顶级会议之一。

介绍 MGIE 之前,IT之家先来介绍下 MLLM。MLLM 是一种强大的人工智能模型,可以同时处理文本和图像,从而增强基于指令的图像编辑能力。MLLMs 在跨模态理解和视觉感知响应生成方面表现出卓越的能力,但尚未广泛应用于图像编辑任务。

MGIE 通过两种方式将 MLLMs 集成到图像编辑过程中:首先,它使用 MLLMs 从用户输入中推导出富有表现力的指令。这些指令简洁明了,为编辑过程提供了明确的指导。

例如,当输入“让天空更蓝”时,MGIE 可以生成“将天空区域的饱和度提高 20%”的指令。

其次,它使用 MLLM 生成视觉想象力,即所需编辑的潜在表征。这一表征捕捉了编辑的本质,可用于指导像素级操作。MGIE 采用了一种新颖的端到端训练方案,可联合优化指令推导、视觉想象和图像编辑模块。

MGIE 可以处理各种编辑情况,从简单的颜色调整到复杂的对象操作。该模型还可以根据用户的偏好执行全局和局部编辑。MGIE 的部分特性和功能包括:

  • 基于指令的表达式编辑:MGIE 可以生成简洁明了的说明,有效指导编辑过程。这不仅能提高编辑质量,还能增强用户的整体体验。
  • Photoshop 风格修改:MGIE 可以执行常见的 Photoshop 风格编辑,如裁剪、调整大小、旋转、翻转和添加滤镜。该模型还可以应用更高级的编辑,如更改背景、添加或删除对象以及混合图像。
  • 全局照片优化:MGIE 可以优化照片的整体质量,如亮度、对比度、清晰度和色彩平衡。该模型还能应用素描、绘画和漫画等艺术效果。
  • 局部编辑:MGIE 可以编辑图像中的特定区域或对象,如脸部、眼睛、头发、衣服和配饰。模型还可以修改这些区域或对象的属性,如形状、大小、颜色、纹理和风格。

MGIE 是 GitHub 上的一个开源项目,用户可以点击这里找到代码、数据和预训练模型。该项目还提供了一个演示笔记本,展示如何使用 MGIE 完成各种编辑任务。

责任编辑:庞桂玉 来源: IT之家
相关推荐

2022-12-12 13:45:46

模型修图

2023-06-09 08:35:54

2023-05-12 14:13:23

3D建模OpenAI

2023-09-05 23:34:52

Kubernetes云原生

2015-08-03 10:21:04

设计模式表达

2020-11-27 09:57:11

Python代码PyPy

2019-09-05 10:13:28

2023-12-13 21:50:59

腾讯AI模型

2024-03-04 12:32:39

AI数据

2022-09-30 15:35:43

AI视频

2010-03-29 11:55:12

无线上网报错

2023-05-08 15:44:23

3D数字人

2023-08-28 00:53:03

AI3D

2014-05-07 10:47:51

移动金融互联网金融GMIC

2018-01-15 10:45:43

社交网络互联网巨头百度

2020-12-16 10:43:44

PythonPyPy代码

2019-08-15 11:42:56

程序员电脑软件

2023-01-07 12:53:44

模型效果Muse

2021-12-30 10:00:07

3DAI 人工智能

2014-12-16 08:58:17

甲骨文Oracle数据库选件
点赞
收藏

51CTO技术栈公众号