AutoConsis – 美团联合复旦大学推出的UI内容一致性AI检测工具-爱论文

AutoConsis是什么

AutoConsis是UI内容一致性智能检测工具，是美团技术团队与复旦大学联合推出的。工具基于深度学习和大型语言模型自动识别和提取界面中的关键数据，检测并识别数据间的不一致性问题。AutoConsis能提升用户体验，减少因数据展示错误导致的用户困扰，减轻测试人员的工作负担。AutoConsis在实际应用中表现出低成本、高泛化性和高置信度的优势，对大前端UI质量保障具有重要意义。

AutoConsis的主要功能

目标区域识别：首先识别UI界面中与检测相关的关键区域，基于图像处理和模式识别技术定位包含重要信息的UI部分。目标信息提取：在目标区域确认后，工具用OCR技术和UI组件分析提取目标区域的文本和元素，用大语言模型（LLM）推理提取一致性校验所需的关键信息。一致性校验：对提取出的信息进行一致性校验，确保UI信息的准确性和一致性，包括数值逻辑类型和语义类型的校验。自动化智能检测流程：实现一套自动化智能检测流程，能低成本、高泛化性、高置信度地检测UI内容一致性。多业务场景适应：工具能适应不同页面模板、技术栈、App，自动进行适配，覆盖多类业务、多样化布局。

AutoConsis的技术原理

多模态深度学习模型：用多模态深度学习模型分析GUI页面，结合图像和文本信息提高识别的准确性。大型语言模型（LLM）：LLM提取文本中的深层语义信息，识别和解析关键数据。目标检测和内容理解：将UI页面分析任务转化为目标检测和内容理解的组合，用大模型的能力实现对不同技术栈页面的适应。OCR和UI组件分析：用OCR技术提取文本信息，结合UI组件分析工具提取元素，填入预设的CoT Prompt（Chain of Thought Prompt），基于大模型推理提取关键信息。一致性校验规则：根据预定义的数值逻辑和语义规则，判断提取出的UI内容的一致性，用规则直接检查数值逻辑类型的一致性，对于复杂的语义规则则借助LLM的理解能力实现校验。信息提取Prompt设计：针对大语言模型常见的“幻觉”问题，设计包含上下文学习的Prompt（CoT），提高信息提取的准确性。多模态UI区域识别：基于视觉语义的识别模型CLIP进行目标区域识别，用图像和文本的语义映射在高维向量空间中进行匹配，提高识别的泛化性和准确性。

AutoConsis的项目地址

技术论文：https://dl.acm.org/doi/10.1145/3639477.3639748

AutoConsis的应用场景

电子商务平台：在电商平台中，检测商品详情页、购物车页和结算页之间的价格和库存信息是否一致，确保用户在不同页面看到的信息是准确且同步的。营销活动验证：在促销和营销活动中，验证不同页面上关于折扣、优惠和活动规则的描述是否一致，避免因信息不一致导致的用户困惑。金融应用：在金融应用中，检测账户余额、交易记录和投资回报等关键财务数据在不同页面的显示是否一致。旅游和酒店预订：在旅游和酒店预订应用中，检查不同页面上的价格、可用性和预订条款是否一致，提升用户体验。社交媒体和内容平台：在社交媒体和内容平台中，检测用户个人资料、帖子和评论中的数据和信息是否一致。