OlympicArena – 上海交大联合 AI Lab 等推出的多学科认知推理基准测试框架-爱论文

OlympicArena是什么

OlympicArena是上海交通大学、上海AI Lab、苏州大学和上海交通大学生成式人工智能实验室（GAIR Lab）联合推出的多学科认知推理基准测试框架。OlympicArena包含11,163道来自国际奥林匹克竞赛的双语题目，涵盖数学、物理、化学、生物、地理、天文学和计算机科学等7大领域。OlympicArena全面评估AI模型的高级认知推理能力，特别是逻辑推理和视觉推理能力。基于答案级和过程级的细粒度评估，OlympicArena揭示AI模型在解决复杂问题时的局限性，推动AI技术向超级智能发展。

OlympicArena的主要功能

全面覆盖：涵盖数学、物理、化学、生物、地理、天文学和计算机科学等7大核心学科，共34个细分领域，全面评估AI模型在多个学科领域的认知推理能力。双语支持：基准测试提供中英文双语版本，增强国际适用性。答案级评估：对AI模型的答案进行精确评估。过程级评估：评估解题过程中的每一步骤，确保AI模型的推理过程具有逻辑性和正确性。多模态支持：支持文本和图像交织的问题，评估AI模型在处理多模态信息时的能力。

OlympicArena的技术原理

数据收集与标注：从62项国际奥林匹克竞赛中收集问题，确保问题的高质量和多样性。基于专业团队进行问题提取和标注，包括问题的分类、答案类型标注、解题步骤标注等。用多步验证机制，确保标注数据的准确性和一致性。评估方法：对于固定答案的问题，基于规则匹配验证模型输出的正确性；对于需要生成代码的问题，用测试用例验证代码的正确性。将模型生成的解题步骤与标准解题步骤进行对比，评估每一步的正确性。难以用规则匹配评估的问题，基于高性能模型（如GPT-4V）作为评估器，判断模型输出的正确性。多模态处理：对于包含图像的问题，基于图像识别技术提取图像中的关键信息，与文本信息结合，评估AI模型的多模态处理能力。为图像生成描述性文字，帮助AI模型更好地理解图像内容。数据泄漏检测：基于N-gram预测技术检测模型是否见过基准测试中的问题，确保基准测试的公正性。对每个问题进行实例级检测，验证模型是否正确预测问题中的关键信息。

OlympicArena的项目地址

项目官网：https://gair-nlp.github.io/OlympicArena/GitHub仓库：https://github.com/GAIR-NLP/OlympicArenaHuggingFace模型库：https://huggingface.co/datasets/GAIR/OlympicArenaarXiv技术论文：https://arxiv.org/pdf/2406.12753