BAG – 港中文联合腾讯推出的3D可穿戴资产生成技术-爱论文

BAG是什么

BAG（Body-Aligned 3D Wearable Asset Generation）是香港中文大学和腾讯联合提出创新的3D可穿戴资产生成技术，通过结合多视图图像扩散模型和控制网络（ControlNet），运用人体形状和姿态信息，自动生成与人体完美适配的3D可穿戴资产，如服装和配饰。 BAG的核心在于基于多视图生成器和3D扩散模型。首先通过多视图图像扩散模型生成与人体对齐的多视图图像，然后基于3D扩散模型将这些图像转化为3D资产。通过物理模拟和优化，生成的资产能自然地贴合人体，避免穿透问题。

BAG的主要功能

多视图图像生成：通过多视图图像扩散模型，基于人体的形状和姿态信息生成与人体对齐的多视图图像。3D资产生成：将多视图图像输入3D扩散模型，生成高质量的3D可穿戴资产。多样化与个性化：支持从单个资产到多个组件组合的生成，满足不同场景下的多样化需求。高效适配：能快速生成与不同人体模型适配的资产，适用于虚拟服装试穿、游戏开发、VR和AR等领域。

BAG的技术原理

视图图像扩散模型：BAG首先构建了一个从单图像到一致多视图图像的扩散模型，在大规模Objaverse数据集上进行训练，实现多样性和泛化能力。模型通过控制网络（ControlNet）引导生成与人体对齐的多视图图像，控制信号利用目标人体的多视图2D投影，其中像素值表示规范化空间中人体表面的XYZ坐标。3D形状生成：生成的多视图图像被输入到本地3D扩散模型中，生成资产的3D形状。通过多视图轮廓监督恢复相似变换（Sim3），确保生成的3D资产与人体模型在空间上对齐。物理模拟与优化：为了确保生成的3D资产能自然地贴合人体，BAG采用物理模拟技术解决资产与身体之间的穿透问题。通过代理网格保留资产的基本几何形状，作为布料模拟的代表，最终实现无穿透的对齐。

BAG的项目地址

项目官网：https://bag-3d.github.io/arXiv技术论文：https://arxiv.org/pdf/2501.16177

BAG的应用场景

虚拟服装试穿：BAG能根据用户的身体模型快速生成适配的3D服装和配饰，用户可以在虚拟环境中实时试穿不同款式和风格的服装，提升购物体验，减少因尺寸不合适导致的退货率。游戏开发：在游戏开发中，BAG可用于为游戏角色生成多样化的服装和配饰，支持个性化定制，丰富玩家的角色体验。虚拟现实（VR）和增强现实（AR）：BAG生成的3D资产可以无缝集成到VR和AR应用中，为用户提供沉浸式的服装试穿和设计体验，在虚拟展厅中试穿不同风格的服装。时尚设计：设计师可以用BAG快速生成和迭代3D服装模型，加速设计流程，在虚拟环境中预览设计效果，降低设计成本。