SOLAMI – 南洋理工推出的VR端3D角色扮演AI系统-爱论文

SOLAMI是什么

SOLAMI是创新的VR端3D角色扮演AI系统，是南洋理工大学研究团队推出的。支持用户用语音和肢体语言与虚拟角色进行沉浸式互动，基于社交视觉-语言-行为模型，提供超越传统文本和语音交互的自然交流体验。SOLAMI用端到端的VLA模型驱动，能识别用户的肢体语言，作出响应，支持多种角色互动，如跳舞、玩游戏等。SOLAMI为AI角色扮演游戏带来了新的沉浸式体验。

SOLAMI的主要功能

沉浸式互动：用户在VR环境中用语音和肢体语言与3D虚拟角色进行自然互动。多模态响应：系统够根据用户的语音和动作输入生成相应的角色语音和动作响应。角色多样性：支持多种角色，包括超级英雄、机器人、二次元角色等，提供丰富的互动体验。互动游戏：支持与角色进行简单的互动游戏，如剪刀石头布。

SOLAMI的技术原理

社交视觉-语言-行为模型（Social VLA）：用端到端的VLA模型，处理用户的语音和动作输入，生成角色的响应。多模态输入处理：基于Motion Tokenizer和Speech Tokenizer，用户的语音和动作被转换成模型能理解的token。LLM基座：用大型语言模型（LLM）作为基座，处理输入的token，自回归地输出角色的语音和动作token。动作表示：用户的动作用SMPL-X的3D旋转表示，用VQ-VAE进行编码。语音处理：用户的语音用RVQ-VAE结构进行编码，用SoundStorm进行解码，实现声音克隆。训练过程：包括多任务预训练和指令微调训练，让模型学习动作、语音和文本之间的关联，处理多轮多模态对话。

SOLAMI的项目地址

项目官网：solami-ai.github.ioarXiv技术论文：https://arxiv.org/pdf/2412.00174

SOLAMI的应用场景

虚拟社交：用户在虚拟环境中与AI角色进行社交互动，模拟真实的对话和非语言交流。游戏互动：在VR游戏中，作为NPC（非玩家角色），与玩家进行更自然的互动，提升游戏体验。教育和培训：模拟教师或学生的角色，提供语言学习、社交技能训练等教育场景。心理治疗：在虚拟现实中模拟治疗师角色，帮助用户进行心理治疗和社交恐惧症的暴露疗法。娱乐和表演：用户与虚拟歌手、舞者或演员互动，享受沉浸式的娱乐体验。