roberta-base FacebookAI
- 类型
- model
- 任务
- fill-mask
- 框架
- transformers
- 下载量
- 13,341,441
- 点赞
- 638
- 访问
- public
- 文件
- 0
标签
- 文本分类
- 问答
- 文本嵌入
- NLP
- 深度学习
- 预训练语料
- transformers
- PyTorch
摘要
RoBERTa-base 是基于 Transformer 的英语预训练模型，采用掩码语言建模（MLM）目标在大量无标注文本上自监督训练，能够学习句子的双向表示。它主要用于为下游任务（如序列分类、命名实体识别、问答等）提供特征或进行微调，而不是直接用于文本生成。该模型适合英语文本理解相关任务，微调后可应用于文本分类、问答和语义分析等场景。
README
--- language: en tags: - exbert license: mit datasets: - bookcorpus - wikipedia --- # RoBERTa 基础模型 使用掩码语言建模（MLM）目标在英语上预训练的模型。该模型在[这篇论文](https://arxiv.org/abs/1907.11692)中提出，并首次发布于[此仓库](https://github.com/pytorch/fairseq/tree/master/examples/roberta)。该模型区分大小写：它能够区分 english 和 English。 免责声明：发布 RoBERTa…