ModernBERT-base answerdotai
- 类型
- model
- 任务
- fill-mask
- 框架
- transformers
- 下载量
- 5,618,765
- 点赞
- 1,085
- 访问
- public
- 文件
- 0
标签
- 文本嵌入
- 语义搜索
- 文本分类
- NLP
- 预训练
- transformers
- 深度学习
- PyTorch
摘要
ModernBERT-base 是一个现代化改造的 BERT 风格双向编码器模型，在 2 万亿英文与代码 token 上预训练，原生支持 8192 token 长上下文。它采用 RoPE、局部全局交替注意力、Unpadding 与 Flash Attention 等改进，推理效率高。该模型主要作为 MLM 骨干用于下游微调，在 GLUE 自然语言理解、BEIR 检索及代码检索等任务上表现优异，适用于长文档检索、文本分类与语义搜索等场景。
README
--- library_name: transformers license: apache-2.0 language: - en tags: - fill-mask - masked-lm - long-context - modernbert pipeline_tag: fill-mask inference: false --- # ModernBERT ## 模型摘要 ModernBERT 是一个现代化的双向仅编码器 Transformer 模型（BERT 风格），在 2 万亿 token 的英语和代码数据上预训练，原生上下文长度最高可达 8,192 个 token。ModernBE…