IC-Portrait – ETH联合浙大等推出的个性化肖像生成框架-爱论文

IC-Portrait是什么

IC-Portrait是新型的个性化肖像生成框架，解决用户资料图像多样性（如外观和光照条件差异）带来的挑战。通过将肖像生成任务分解为“光照感知拼接”和“视角一致性适应”两个子任务来实现高保真的身份保留和视角一致性。IC-Portrait基于高比例掩码自编码技术（约80%的输入图像被掩码）进行自我监督的光照特征学习，借助合成的视角一致数据集学习上下文对应关系。

IC-Portrait的主要功能

身份保留（Identity Preservation）：IC-Portrait专注于在生成过程中精确保留个体的身份特征。通过将肖像生成任务分解为光照感知拼接和视角一致性适应两个子任务，框架能显著提高身份保留的保真度和稳定性。3D感知重光照（3D-Aware Relighting）：IC-Portrait展示了3D感知的重光照能力，能在不同光照条件下生成高质量的肖像。使生成的肖像在视角上保持一致，能适应各种光照条件。与现有生成管线的兼容性：IC-Portrait生成的参考特征与ControlNet兼容，可以轻松集成到现有的生成管线中。使框架能与现有的图像生成工具无缝对接，方便用户在现有工作流程中使用。

IC-Portrait的技术原理

视角一致性适应（View-Consistent Adaptation）：IC-Portrait通过合成的视角一致数据集学习上下文对应关系，能将参考肖像扭曲到任意姿势，提供强大的空间对齐视角条件。使生成的肖像在不同视角下保持一致性。光照感知拼接（Lighting-Aware Stitching）：框架基于高比例掩码自编码技术（约80%的输入图像被掩码），通过自我监督学习参考图像的光照特征。有效减少了用户资料图像与参考图像之间的适应差距，保留局部光照线索和全局阴影效果。

IC-Portrait的项目地址

arXiv技术论文：https://arxiv.org/pdf/2501.17159

IC-Portrait的应用场景

社交媒体与个人品牌建设：用户可以用IC-Portrait生成具有不同视角和光照条件的个性化肖像，用于社交媒体头像或个人品牌宣传材料。艺术创作与设计：艺术家和设计师可以借助IC-Portrait生成具有特定风格或光照效果的肖像作品，探索不同的艺术表现形式。虚拟试穿与时尚零售：在时尚领域，IC-Portrait可以结合虚拟试穿技术，用户看到自己穿着不同服装的效果，提供更加个性化和便捷的购物体验。游戏与虚拟现实（VR）：IC-Portrait能生成具有特定身份特征的虚拟角色，增强游戏和VR环境中的互动性和沉浸感。