DeepFloyd IF是由StabilityAI旗下的DeepFloyd研究团队推出的开源的文本到图像生成模型,IF是一个基于级联方法的模块化神经网络。
IF是由多个神经模块(处理特定任务的独立神经网络)构建的,在一个架构内联合起来产生协同效应。IF以级联方式生成高分辨率图像:从产生低分辨率样本的基础模型开始,然后由一系列的升级模型提升,以创造令人惊叹的高分辨率图像。IF的基础和超分辨率模型采用扩散模型,利用马尔可夫链步骤将随机噪声引入数据中,然后再反转过程,从噪声中生成新的数据样本。IF在像素空间内操作,而不是依赖潜伏图像表征的潜伏扩散(如稳定扩散)。OuteTTS是开源的文本到语音(TTS)项目,基于纯语言建模的方法生成语音。OuteTTS项目基于LLaMa架构,用Oute3-350M-DEV基础模型,拥有3 5亿参数。OuteTTS具备音频标记化、CTC强制对齐技术和结构化提示创建等创新音频处理方法,支持语音克隆功能,及用户创建自定义说话人的声音。
AI教程资讯
2025-02-11
GTA(a benchmark for General Tool Agents)是上海交通大学和上海AI实验室共同推出的基准测试,评估大型语言模型(LLMs)在真实世界场景中调用工具的能力。GTA基于提供真实的用户问题、真实部署的工具和多模态输入输出,建立一个全面、细粒度的评估框架,有效衡量LLMs在复杂场景下的工具使用能力。
AI教程资讯
2025-02-11
VQAScore是CMU和Meta联合推出的评估方法,基于视觉问答(VQA)模型衡量由文本提示生成的图像质量。VQAScore用计算模型对“Does this figure show {text}?”这一问题回答“是”的概率,评估图像与文本提示的对齐程度。VQAScore的核心优势在于无需额外人类标注,直接用现有的VQA模型,用概率值的形式提供更精确的评估结果,超越传统评估指标如CLIPScore
AI教程资讯
2025-02-11
AndroidLab是用在训练和系统评估Android自主代理的框架,集成文本和图像模态操作环境,统一行动空间和可重现基准测试。AndroidLab支持大型语言模型和多模态模型,包含138个任务,覆盖九个应用。基于AndroidLab,开发Android指令数据集,提升开源模型的成功率。
AI教程资讯
2025-02-10