日日新融合大模型 – 商汤科技推出的原生融合模态大模型-爱论文

日日新融合大模型是什么

“日日新”融合大模型（SenseNova）是商汤科技于2025年1月10日正式推出的多模态大模型。模型实现了原生融合模态，深度推理能力与多模态信息处理能力均大幅提升，能处理文本、图像、视频等多种信息，突破了模态之间的限制在SuperCLUE和OpenCompass两大权威评测榜单均夺得第一，成为“双冠王”。

日日新融合大模型的主要功能

图像识别与分析：能准确识别和分析图像中的内容，包括模糊的文本、复杂的场景等。视频处理：可以处理视频内容，提取关键信息，进行视频编辑和生成等操作，提升视频交互体验。语音识别与合成：结合语音和自然语言处理能力，提升交互体验，如在语音客服、在线教育等场景中应用。文本处理：具备强大的文本理解和生成能力，能处理复杂的富模态文档，如表格、文本、图片、视频等融合形式的文档。数学计算与逻辑推理：能解决复杂的数学问题，如计算2的31次方和3的21次方哪个更大，用对数函数的方法进行解答。数据分析与决策支持：可以分析数据图表中的信息，提取关键要素，给出结论，为用户提供决策支持。

日日新融合大模型的技术原理

原生融合模态：模型能够同时处理文本、图像、视频等多种信息，突破了传统大语言模型仅支持单一文本输入的限制。融合模态数据合成：逆渲染技术：通过逆渲染技术，将图像和文本数据进行融合，生成大量合成数据。这些合成数据在图文模态之间建立起大量的交互桥梁，使得模型能够更扎实地掌握模态之间的丰富关系。基于混合语义的图像生成：利用混合语义生成技术，进一步丰富了融合模态数据，提升了模型对多模态信息的理解能力。融合任务增强训练：构建了丰富的跨模态任务，为模型的训练提供了坚实的基础。这些任务不仅包括传统的文本处理任务，还涵盖了图像识别、视频分析等多模态任务，使模型在多种业务场景中能够有效响应用户需求。深度推理能力：文理兼修：在SuperCLUE年度评测中，文科成绩以81.8分位列全球第一，理科成绩夺得金牌，其中计算维度以78.2分位列国内第一。复杂问题解决：能处理复杂的富模态文档，如表格、文本、图片、视频等融合形式的文档，并提供深入的推理支持。