Matrix3D – 南大联合Apple、港科大推出的统一摄影测量模型-爱论文

Matrix3D是什么

Matrix3D 是南京大学、苹果公司和香港科技大学合作推出的新型的统一摄影测量模型，能在一个模型中完成多个摄影测量子任务，包括姿态估计、深度预测和新视图合成。Matrix3D 的核心是多模态扩散变换器（DiT），通过整合图像、相机参数和深度图等多种模态的数据，实现灵活的任务处理。 Matrix3D 的训练采用了掩码学习策略，在部分数据缺失的情况下，也能基于双模态数据（如图像-姿态或图像-深度对）进行全模态训练，显著增加了可用的训练数据量。Matrix3D 支持多轮交互，用户可以通过逐步输入信息来优化生成结果，在 3D 内容创作中具有很强的灵活性。

Matrix3D的主要功能

姿态估计（Pose Estimation）：能从稀疏视角的图像中估计相机的姿态，在图像重叠度低的情况下，能准确预测相机的相对位置和方向。深度预测（Depth Prediction）：可以从单目或多视角图像中预测高质量的深度图。模型支持从少量图像中生成深度信息，可用于后续的3D重建任务。新视图合成（Novel View Synthesis）：能根据输入图像生成任意姿态的新视图图像。支持从单张或多张图像中合成新的视角。3D重建（3D Reconstruction）：结合姿态估计、深度预测和新视图合成的结果，Matrix3D可以用于单张或少量图像的3D重建。通过与3D高斯溅射（3DGS）优化结合，模型能生成高质量的3D点云。多任务交互与灵活性：Matrix3D支持灵活的输入/输出配置，能根据用户提供的信息动态调整任务。掩码学习与数据利用：通过掩码学习策略，Matrix3D能基于部分完整的数据进行训练，显著增加了可用训练数据的范围，提高了模型的泛化能力。

Matrix3D的技术原理

多模态扩散变换器：Matrix3D 使用扩散变换器架构，能够处理多种模态的数据（如 RGB 图像、相机姿态和深度图），并将它们统一为二维表示，实现跨模态的特征融合和生成。掩码学习策略：模型在训练时采用掩码学习，随机对输入数据进行掩码处理，学习从含噪数据中恢复出干净的输出。能处理不完整的输入数据，显著增加可用的训练数据量。统一的概率模型：Matrix3D 基于统一的概率模型，通过灵活的输入/输出配置，能动态调整任务需求，支持姿态估计、深度预测和新视图合成等多种摄影测量任务。3D 高斯溅射优化：生成的深度图和新视图图像可以用于初始化 3D 高斯溅射（3DGS）优化，实现高质量的 3D 点云重建。数据归一化：通过场景归一化和相机归一化技术，Matrix3D 能处理不同数据集的多样化分布，确保不同模态的数据在统一的尺度和坐标系下进行处理。

Matrix3D的项目地址

项目官网：https://nju-3dv.github.io/projects/matrix3d/arXiv技术论文：https://arxiv.org/pdf/2502.07685

Matrix3D的应用场景

虚拟现实（VR）和增强现实（AR）：Matrix3D 可以从少量二维图像生成高质量的新视图和深度信息，为 VR 和 AR 应用提供丰富的 3D 场景和物体模型。游戏开发：Matrix3D 能快速生成 3D 场景和物体的几何信息，帮助游戏开发者从概念图或少量参考图像中快速创建游戏中的 3D 模型。影视制作：Matrix3D 可以用于从少量拍摄的二维图像生成完整的 3D 场景，方便后期特效制作和虚拟摄影。建筑设计：Matrix3D 能从建筑图纸或少量照片中生成 3D 建筑模型，帮助设计师快速进行设计验证和客户展示。虚拟试穿：Matrix3D 能生成用户身体的 3D 模型，用于虚拟试穿服装和配饰。