当前位置: 网站首页 >AI教程资讯 >正文

AutoDroid-V2 – 清华推出的移动端GUI自动化脚本代理

来源:爱论文 时间:2025-01-14 09:49:07

AutoDroid-V2是什么

AutoDroid-V2是清华大学人工智能产业研究院推出的基于小型语言模型(SLM)的移动端GUI自动化脚本代理,能基于代码生成技术提升设备上的GUI代理性能。AutoDroid-V2分析应用的探索历史,自动生成精细的应用文档,指导SLM生成多步脚本完成复杂的用户任务。与传统的逐步GUI代理相比,AutoDroid-V2显著提高了任务完成率和执行效率,减少对大型云模型的依赖,降低用户隐私风险和集中服务成本。AutoDroid-V2在多个基准测试中表现出色,展示了在设备上全面部署GUI代理的潜力。

AutoDroid-V2

AutoDroid-V2的主要功能

自动化UI任务执行:基于生成和执行多步脚本,自动完成用户在移动设备上的各种UI任务,如打开应用、输入文本、点击按钮等。代码生成与执行:将UI任务自动化问题转化为代码生成问题,用设备上的小型语言模型(SLM)生成可执行的代码脚本,并用代码解释器高效执行脚本。应用文档生成:自动分析应用的探索历史,生成精细的应用文档,记录应用的GUI状态、重要元素及其交互关系,为脚本生成提供指导。

AutoDroid-V2的技术原理

arXiv技术论文:https://arxiv.org/pdf/2412.18116

AutoDroid-V2的应用场景

日常生活辅助:用户在忙碌时,根据消息内容自动回复,如自动回复工作邮件、朋友问候等,避免错过重要信息。日常工作:在会议过程中自动记录会议内容,提取关键信息,生成会议纪要,方便会后回顾和执行相关任务,提高会议效率。应用测试:在应用更新后自动执行回归测试用例,检查新版本应用的功能是否正常,及时发现并修复潜在的bug,确保应用的稳定性和可靠性。智能家居:根据用户的作息习惯和当前环境光线,自动调节家中的灯光亮度和色温,如在晚上自动调暗灯光,营造舒适的睡眠环境,提高生活品质。特殊行业应用:在患者出院后,自动发送随访提醒和健康问卷,收集患者的康复情况,帮助医生及时了解患者的病情变化,提供更好的后续治疗和康复指导。
上一篇:EnerVerse – 智元机器人推出的首个机器人4D世界模型
相关资讯 更多+
  • AutoDroid-V2 – 清华推出的移动端GUI自动化脚本代理
    AutoDroid-V2 – 清华推出的移动端GUI自动化脚本代理

    AutoDroid-V2是清华大学人工智能产业研究院推出的基于小型语言模型(SLM)的移动端GUI自动化脚本代理,能基于代码生成技术提升设备上的GUI代理性能。AutoDroid-V2分析应用的探索历史,自动生成精细的应用文档,指导SLM生成多步脚本完成复杂的用户任务。

    AI教程资讯 2023-04-14

  • EnerVerse – 智元机器人推出的首个机器人4D世界模型
    EnerVerse – 智元机器人推出的首个机器人4D世界模型

    EnerVerse 是智元机器人团队开发的首个机器人4D世界模型,旨在通过生成未来具身空间来指导机器人完成复杂任务。模型采用自回归扩散模型,结合稀疏记忆机制(Sparse Memory)和自由锚定视角(Free Anchor View, FAV),显著提升4D生成能力和动作规划性能。

    AI教程资讯 2023-04-14

  • Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型
    Seer – 上海 AI Lab 联合北大等机构推出的端到端操作模型

    Seer是由上海AI实验室、北京大学计算机科学与技术学院、北京大学软件与微电子学院等机构联合推出的端到端操作模型,实现机器人视觉预测与动作执行的高度协同。模型结合历史信息和目标信号(如语言指令),预测未来时刻的状态,用逆动力学模型生成动作信号。Seer基于Transformer的结构,处理多模态输入数据,有效融合视觉、语言和机器人本体信号。

    AI教程资讯 2023-04-14

  • ArtCrafter – 清华联合鹏城实验室和联想共同推出的文本到图像风格迁移框架
    ArtCrafter – 清华联合鹏城实验室和联想共同推出的文本到图像风格迁移框架

    ArtCrafter是清华大学、鹏城实验室和联想研究院共同推出的文本到图像风格迁移框架,基于扩散模型,解决传统方法在风格表达、内容一致性和输出多样性方面的局限。ArtCrafter基于嵌入重构架构实现,包含三个关键组件:基于注意力的风格提取模块,用多层架构和感知器注意力机制从参考图像中提取细腻的风格特征。

    AI教程资讯 2023-04-14

最新录入 更多+
确定