MagicQuill – 蚂蚁集团联合多所高校共同开源的AI互动式图像编辑工具-爱论文

MagicQuill是什么

MagicQuill是香港科技大学、蚂蚁集团、浙江大学和香港大学共同推出的开源AI互动式图像编辑工具。基于用户友好的界面和AI支持的智能建议，实现精确的局部图像编辑。用户用简单的笔触和提示词，轻松添加元素、擦除物体或改变颜色，让图像编辑变得简单、智能且高效。

MagicQuill的主要功能

AI支持的智能建议：基于AI算法预测用户意图，提供编辑建议，简化操作流程。精确的局部编辑：支持像素级别的精确编辑，包括元素插入、物体擦除和颜色调整。三种魔法笔刷：添加笔刷：根据提示词添加细节和元素。减去笔刷：根据提示词去除多余的细节或重新绘制区域。颜色笔刷：精确地为图像上色，匹配笔刷的颜色。画布工具：提供撤销、重做、旋转、调整大小等工具，增强编辑灵活性。参数调整：支持用户调整生成结果的参数，如基础模型选择、负提示、边缘控制等。

MagicQuill的技术原理

多模态大语言模型（MLLM）：MagicQuill用MLLM实时监测和预测用户的编辑意图，减少或消除手动输入提示的需求。扩散模型（Diffusion Model）：基于扩散模型的强大先验，从数据分布中学习并生成新的数据实例。双分支插件模块：基于精心学习的双分支插件模块来增强扩散模型，实现对编辑请求的精确控制。实时意图预测：系统通过分析用户的笔触和输入的提示词，实时预测用户的编辑意图，并自动生成编辑指令。精确控制编辑：结合MLLM和扩散模型，MagicQuill能够精确处理用户的编辑请求，实现精确的图像编辑效果。