Maya – 开源多语言多模态模型，能处理和理解八种不同语言-爱论文

Maya是什么

Maya是开源的多语言多模态模型，基于指令微调扩展模型在多种语言和文化背景下的能力。Maya基于LLaVA框架，包含新创建的包含八种语言的预训练数据集，提高视觉-语言任务中的文化和语言理解。Maya基于毒性分析和数据集过滤，确保训练数据的安全性和质量，支持包括中文、法语、西班牙语、俄语、印地语、日语和阿拉伯语在内的多种语言，致力于提升低资源语言的AI内容生成质量。

Maya的主要功能

多语言支持：Maya能处理和理解八种不同的语言，包括中文、法语、西班牙语、俄语、印地语、日语、阿拉伯语和英语，增强对低资源语言的支持。多模态能力：结合图像和文本数据，让机器基于过自然语言理解视觉世界，执行图像描述、视觉问题回答等任务。指令微调：基于指令微调，更好地理解和响应自然语言指令，提升在实际应用中的性能和适应性。数据集创建与毒性过滤：创建多语言图像-文本预训练数据集，进行毒性分析和过滤，确保数据的安全性和质量。跨文化理解：基于多语言和多模态数据，更好地理解和处理不同文化背景下的视觉和语言信息。

Maya的技术原理

模型架构：基于LLaVA 1.5架构，用Aya-23 8B模型作为多语言语言模型（LLM）和SigLIP作为视觉编码器，支持多语言和多模态输入。预训练数据集：创建包含558,000张图像的多语言图像-文本预训练数据集，涵盖八种语言，支持多语言视觉语言模型的开发。毒性分析：用LLaVAGuard 7B和Toxic-BERT对数据集中的图像和文本进行毒性分析，识别和过滤掉不安全或有害的内容。预训练与微调：预训练：用投影矩阵W将图像特征转换为语言特征，基于多轮对话数据进行预训练，优化图像和文本的对齐。微调：在PALO 150K指令微调数据集上进行微调，进一步提升模型对指令的理解和响应能力。跨模态对齐：基于投影矩阵和训练策略，优化图像特征和语言特征之间的对齐，提高模型在视觉-语言任务中的表现。

Maya的项目地址

GitHub仓库：https://github.com/nahidalam/mayaHuggingFace模型库：https://huggingface.co/maya-multimodal/mayaarXiv技术论文：https://arxiv.org/pdf/2412.07112

Maya的应用场景

跨语言内容理解：帮助用户理解不同语言的图像内容，例如在多语言环境中识别和解释路标、广告、菜单等。图像和视频分析：在安全监控、内容审核等领域，分析图像和视频，识别和过滤不当内容。教育和学习：为非母语学习者提供多语言学习材料的图像和文本分析，增强语言学习体验。旅游和导航：帮助游客在不同国家识别和翻译街道标志、地图和文化地标等。电子商务：在多语言电商平台上，帮助用户理解产品描述和图像，提升购物体验。