SkyReels-A2 – 昆仑万维推出的可控视频生成框架-爱论文

SkyReels-A2是什么

SkyReels-A2是昆仑万维推出的可控视频生成框架，支持根据文本提示将任意视觉元素（如人物、物体、背景）组合成合成视频，严格保持与每个元素的参考图像的一致性。基于设计全面的数据管道构建用在模型训练的提示、参考、视频三元组，推出新颖的图像文本联合嵌入模型。SkyReels-A2优化了推理管道的速度和输出稳定性，引入基准A2 Bench用在系统评估。

SkyReels-A2的主要功能

多元素组合：将任意视觉元素（如人物、物体、背景等）组合成合成视频，严格保持与每个元素的参考图像的一致性。文本驱动生成：根据文本提示生成视频，用户基于文字描述精确控制视频的内容和风格。高质量视频输出：生成的视频具有高分辨率和高质量，满足多种应用场景的需求。实时交互：支持用户在生成过程中进行实时交互，调整生成参数获得更符合需求的视频结果。

SkyReels-A2的技术原理

扩散模型：SkyReels-A2用扩散模型的特性，将噪声逐步转化为高质量的视频内容。模型基于去噪过程，将随机噪声逐步转化为目标视频，用文本和图像提示引导生成过程。图像-文本联合嵌入模型：SkyReels-A2设计新颖的图像-文本联合嵌入模型，将参考图像和文本提示嵌入到共同的特征空间中。基于双分支结构，分别提取参考图像的空间特征和语义特征，注入到扩散模型的生成过程中。空间特征基于3D VAE（变分自编码器）提取，确保局部细节的保留，语义特征基于CLIP模型提取，确保全局语义的一致性。数据管道：构建全面的数据管道，用在生成高质量的文本、参考图像、视频三元组。数据管道包括视频预处理、关键帧分割、多专家视频字幕生成、视觉元素提取等步骤，确保生成的训练数据能够有效支持模型学习。优化的推理管道：为提高生成速度和稳定性，SkyReels-A2对推理管道进行优化。基于UniPC多步调度策略，结合并行化处理技术（如Context Parallel、CFG Parallel和VAE Parallel），显著提高模型的推理效率。基于模型量化和参数级卸载策略，降低GPU内存消耗，支持在消费级显卡上运行。评估基准A2 Bench：SkyReels-A2引入基准A2 Bench，用在系统评估元素到视频（E2V）任务的性能。A2 Bench从多个维度（如组成一致性、视觉质量、文本对齐等）进行评估，确保模型在不同场景下的表现满足实际应用需求。

SkyReels-A2的项目地址

项目官网：https://skyworkai.github.io/skyreels-a2.github.io/GitHub仓库：https://github.com/SkyworkAI/SkyReels-A2HuggingFace模型库：https://huggingface.co/Skywork/SkyReels-A2arXiv技术论文：https://arxiv.org/pdf/2504.02436