ClotheDreamer – 上海大学联合腾讯等高校推出的3D服装生成技术-爱论文

ClotheDreamer是什么

ClotheDreamer是上海大学、上海交通大学、复旦大学和腾讯优图实验室共同推出的3D服装生成技术，能根据文本描述生成高保真、可穿戴的3D服装资产。ClotheDreamer用3D高斯为基础，基于Disentangled Clothe Gaussian Splatting (DCGS) 实现服装与人体分离优化，用双向Score Distillation Sampling (SDS) 提升服装渲染质量。ClotheDreamer支持自定义服装模板，让生成的服装能适配不同体型，适用于虚拟试穿和物理精确动画。

ClotheDreamer的主要功能

文本驱动的3D服装生成：根据文本描述自动生成相应的3D服装模型。高保真渲染：生成的3D服装具有高度的细节和真实感。可穿戴性：生成的服装模型是可穿戴的，能用在虚拟试穿。物理精确动画：支持生成的服装进行物理精确的动画效果。自定义模板输入：支持用户上传自定义的服装模板，生成个性化的3D服装。适应不同体型：生成的服装能适配不同体型的虚拟人物。

ClotheDreamer的技术原理

Disentangled Clothe Gaussian Splatting (DCGS)：新颖的表示方法，将服装和人体分别表示为高斯模型，支持独立的优化和渲染。双向Score Distillation Sampling (SDS)：用预训练的2D扩散模型优化3D服装和人体渲染，分别对服装和人体RGBD渲染进行指导，提高生成质量。文本描述解析：用语言模型（如ChatGPT）解析文本描述，确定服装的类型和特征，为服装模型的初始化提供依据。零样本学习：在没有看到特定类型的服装的情况下，生成相应的3D服装模型。新的修剪策略：针对宽松服装提出的修剪策略，避免在优化过程中错误地移除有用的高斯点，保持服装的完整性。模板引导的服装生成：用自定义的服装模板网格引导3D服装的生成，提高生成过程的个性化和实用性。

ClotheDreamer的项目地址

项目官网：ggxxii.github.io/clothedreamerGitHub仓库：https://github.com/ggxxii/clothedreamerarXiv技术论文：https://arxiv.org/pdf/2406.16815

ClotheDreamer的应用场景

时尚设计：设计师快速生成和迭代3D服装模型，加速设计过程，在虚拟环境中预览设计效果。虚拟试穿：在电子商务中，顾客在虚拟环境中试穿服装，提高购物体验，减少退货率。游戏和娱乐：游戏开发者为游戏角色设计多样化的服装，提供更加丰富和个性化的角色定制选项。电影和动画制作：在电影和动画产业中，快速生成和动画化3D服装，提高制作效率，降低成本。虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，为用户提供沉浸式的服装试穿和设计体验。