Agent-E – 基于AutoGen代理框架构建的AI浏览器自动化系统-爱论文

Agent-E是什么

Agent-E是基于AutoGen代理框架构建的智能自动化系统，专注于浏览器内的自动化操作。Agent-E基于自然语言交互，能执行填写表单、搜索排序电商产品、定位网页内容、管理网络媒体播放、进行深度网络搜索、自动化项目管理任务及提供个人购物协助等多种复杂任务。Agent-E能提高在线效率，减少重复劳动，让用户更专注于重要事务。

Agent-E的主要功能

表单填写：自动填写网络表单，包括个人信息输入。电商搜索与排序：在电商网站如亚马逊上根据销量或价格等标准搜索和排序产品。内容定位：在网站上查找特定内容，如体育比分或大学联系信息。媒体交互：与基于网络的媒体互动，包括播放YouTube视频和管理播放设置。网络搜索：执行全面的网络搜索，收集各种主题的信息。项目管理自动化：在项目管理平台如JIRA上过滤问题和自动化工作流程。

Agent-E的技术原理

基于代理的架构：基于AutoGen代理框架，用代理（如用户代理和浏览器导航代理）执行任务。技能库：核心功能围绕技能库构建，技能库包含一系列预定义的动作（技能），分为感知技能和行动技能。自然语言交互：支持许用户用自然语言与浏览器互动，让任务执行更加直观。DOM蒸馏：基于DOM蒸馏技术，Agent-E将HTML DOM简化为相关的JSON快照，专注于用户任务相关的元素。变化观察：执行动作后，Agent-E监测状态变化，用语言反馈形式提供给LLM，指导更准确的性能。层次化规划：采用层次化规划，将复杂任务分解为子任务，由不同级别的代理处理。

Agent-E的项目地址

GitHub仓库：https://github.com/EmergenceAI/Agent-EarXiv技术论文：https://arxiv.org/pdf/2407.13032

Agent-E的应用场景

在线购物：自动搜索商品、排序结果，并添加到购物车，简化购物流程。信息检索：快速从互联网上收集特定信息，如新闻或学术资料，提高研究效率。表单自动化：自动填写和提交在线表单，减少手动输入，节省时间。个人助理：根据个人喜好提供定制化建议，如餐厅推荐，提升生活质量。媒体播放管理：自动播放和控制音乐及视频内容，增强娱乐体验。