ModernBERT – 英伟达和 HuggingFace 等机构联合开源的新一代编码器模型-爱论文

ModernBERT是什么

ModernBERT是Answer.AI、LightOn、约翰斯·霍普金斯大学、英伟达和HuggingFace联合推出的现代编码器-only Transformer模型，是对经典BERT模型的一次重大升级。ModernBERT在2万亿token的大规模数据上训练，支持长达8192 token的序列长度，显著提升处理长上下文的能力。ModernBERT在多种自然语言处理任务上性能赶超SOTA，同时速度是DeBERTa的两倍，特别适合信息检索、文本分类和实体识别等应用。模型现已开源，供学术界和工业界研究和应用。

ModernBERT的主要功能

长上下文处理：支持长达8192 token的序列，相较于传统模型，大幅提升处理长文本的能力。信息检索：在语义搜索和文档检索任务中，ModernBERT能更有效地表示文档和查询，提高检索准确性。文本分类：包括情感分析、内容审核等任务，能快速进行文本分类。实体识别：在自然实体识别（NER）任务中，识别文本中的特定实体。代码检索：在编程语言相关的任务中也表现出色，能处理和检索大量代码信息。效率提升：在保持高性能的同时，在速度和内存使用上进行优化，让模型更加高效。

ModernBERT的技术原理

现代化Transformer架构：基于Transformer架构改进，包括旋转位置嵌入（RoPE）和GeGLU激活函数，有助于模型更好地理解和处理长序列数据。参数优化：移除不必要的偏置项，更有效地利用参数预算，简化模型架构。注意力机制：引入交替的全局和局部注意力机制，提高模型处理长文本的效率。Unpadding和序列打包：去除填充（Unpadding）和序列打包（Sequence Packing），减少计算浪费，提高训练和推理的效率。硬件感知模型设计：在设计时考虑硬件的利用，基于优化模型结构最大化GPU的利用率。大规模训练数据：在2万亿token的大规模数据集上进行训练，包括网络文档、编程代码和科学文章，让模型具有更广泛的语言理解和应用能力。

ModernBERT的项目地址

GitHub仓库：https://github.com/AnswerDotAI/ModernBERTHuggingFace模型库：https://huggingface.co/collections/answerdotai/modernbertarXiv技术论文：https://arxiv.org/pdf/2412.13663

ModernBERT的应用场景

语义搜索与信息检索：构建更加精准的搜索引擎，理解用户查询的语义，提供更相关的搜索结果。内容推荐系统：在推荐系统中，理解用户的兴趣和内容的语义，推荐更符合用户偏好的信息。自然语言理解（NLU）任务：包括情感分析、意图识别、语言推理等，提供更深层次的语言理解。文本分类：分类新闻文章、客户反馈、社交媒体帖子等，便于内容管理和分析。问答系统：在问答系统中，理解复杂问题并从大量文档中检索出正确答案。