FoxBrain – 鸿海研究院推出的推理大语言模型-爱论文

FoxBrain是什么

FoxBrain 是鸿海研究院推出的繁体中文大型语言模型（LLM），具有强大的推理能力。基于 Meta Llama 3.1 架构，拥有 70B 参数，专注于数学和逻辑推理领域。FoxBrain 基于高效训练策略，用四周时间完成训练，使用 120 张 NVIDIA H100 GPU，展现了高效率和低成本的特点。FoxBrain基于自主技术生成高质量中文预训练数据，用 Adaptive Reasoning Reflection 技术提升推理能力。FoxBrain 推动 AI 在制造业、供应链管理和智慧决策等领域的应用，为台湾 AI 技术发展树立了新的标杆。

FoxBrain的主要功能

数据分析与决策辅助：处理复杂的数据信息，为用户提供决策支持。文书协作：帮助用户生成、编辑和优化文本内容，提高工作效率。数学与推理解题：在数学和逻辑推理方面表现出色，解决复杂的数学问题和逻辑难题。代码生成：辅助用户生成编程代码，提升开发效率。语言风格优化：针对台湾繁体中文的语言风格进行优化，更贴合本地用户需求。

FoxBrain的技术原理

基础架构：基于Meta Llama 3.1架构，拥有70B参数，具备强大的语言生成和理解能力。高效训练策略：用120张NVIDIA H100 GPU进行训练，基于多节点并行训练架构，确保高效能与稳定性。基于自主技术生成98B tokens的高质量中文预训练数据，涵盖24类主题。用Adaptive Reasoning Reflection技术，训练模型自主推理能力，提升在数学和逻辑推理领域的表现。上下文处理能力：支持128K token的上下文处理长度，处理更长的文本输入和输出。优化与评估：基于Continual Pre-Training、Supervised Fine-tuning、RLAIF等技术，不断优化模型性能，在TMMLU+测试数据集中表现出色。

FoxBrain的项目地址

项目官网：https://www.honhai.com/zh-tw/press-center/press-releases/latest-news/1548

FoxBrain的应用场景

智能制造与供应链管理：优化生产流程，提供数据分析和决策支持，提升供应链效率和智能化水平。智慧教育与学习辅助：帮助学生解答数学和逻辑问题，提供学习辅导，生成学习材料，提升学习效率。智能办公与文书协作：自动生成和优化文本内容，辅助撰写报告、邮件等，提高办公效率和文档质量。软件开发与代码生成：辅助程序员生成代码片段，提供编程建议，提升软件开发效率和质量。智慧城市与数据分析：支持城市数据的分析和处理，提供智能决策支持，助力城市管理和公共服务的智能化升级。