FACTS Grounding – 谷歌推出的评估大模型能力的基准测试-爱论文

FACTS Grounding是什么

FACTS Grounding是谷歌DeepMind推出的评估大型语言模型（LLMs）能力的基准测试，衡量模型根据给定上下文生成事实准确且无捏造信息的文本的能力。FACTS Grounding测试集包含1719个跨多个领域的示例，要求模型响应必须基于长达32000个token的文档，涵盖摘要、问答和改写等任务。评估用Gemini、GPT-4o和Claude三款模型，分两个阶段：资格评估和事实准确性评估，增强模型的信任度和应用范围。

FACTS Grounding的主要功能

评估语言模型的事实准确性：评估大型语言模型（LLMs）在给定上下文的情况下生成事实准确文本的能力。避免“幻觉”（捏造信息）：测试模型是否能避免生成与给定文档不相符的虚假信息，即“幻觉”。长形式响应的评估：要求模型能够处理长达32k令牌的文档，并基于此生成长形式的响应。多领域覆盖：数据集覆盖金融、科技、零售、医疗和法律等多个领域，评估模型在不同领域的应用能力。

FACTS Grounding的技术原理

长形式输入处理：评估模型处理长达32k令牌的文档的能力，要求模型能理解和合成长文本信息生成响应。上下文相关性：模型生成与给定用户提示和上下文文档紧密相关的文本，确保响应完全基于提供的文档内容。自动化评审系统：用自动化评审模型（如Gemini 1.5 Pro、GPT-4o和Claude 3.5 Sonnet）评估生成的文本是否满足用户请求，且是否完全基于提供的文档。两阶段评估流程：资格评估：判断模型的响应是否满足用户请求。事实准确性评估：评估响应是否完全基于提供的文档，即评估是否存在“幻觉”（捏造信息）。聚合评分机制：聚合多个评审模型的结果减少单一模型的偏见，提高评估的准确性和可靠性。

FACTS Grounding的项目地址

项目官网：https://deepmind.google/discover/blog/facts-grounding技术论文：https://storage.googleapis.com/deepmind-media/FACTS/FACTS_grounding

FACTS Grounding的应用场景

信息检索与问答系统：在问答系统中，根据给定的文档或上下文提供准确的答案。内容摘要与生成：模型生成文档的摘要，理解长篇文档并准确提炼关键信息。文档改写与重述：在需要根据原始文档重述或改写内容的场景中，确保改写后的内容保持事实的准确性。自动化客户服务：在客户服务领域，提供基于特定信息或政策文档的准确回答，提高服务效率和质量。教育与研究：在教育领域，帮助学生和研究人员快速准确地获取信息，辅助学习和研究工作。