roberta-large FacebookAI

类型
model
任务
fill-mask
框架
transformers
下载量
11,440,988
点赞
319
访问
public
文件
0

标签

  • NLP
  • 文本分类
  • 问答
  • 文本嵌入
  • 预训练语料
  • transformers
  • 深度学习
  • 微调

摘要

RoBERTa-large 是基于 Transformer 编码器的大规模英文预训练模型，通过掩码语言建模（MLM）在约160GB文本上自监督训练，学习双向上下文表示。它主要用于作为下游任务的预训练基座，通过微调实现文本分类、命名实体识别、问答等任务，而非直接用于文本生成。适合需要句级或词级理解的自然语言处理任务。

README

--- language: en tags: - exbert license: mit datasets: - bookcorpus - wikipedia --- # RoBERTa large 模型 该模型基于英语语言，使用掩码语言建模（MLM）目标进行预训练。它在[这篇论文](https://arxiv.org/abs/1907.11692)中被提出，并首次发布于[该仓库](https://github.com/pytorch/fairseq/tree/master/examples/roberta)。该模型区分大小写：它能够区分 english 和 English。 免责声明：发布…

查看完整页面 · 查看原文