xlm-roberta-large FacebookAI
- 类型
- model
- 任务
- fill-mask
- 框架
- transformers
- 下载量
- 6,271,963
- 点赞
- 525
- 访问
- public
- 文件
- 0
标签
- 文本生成
- 多语言
- 预训练
- NLP
- 文本分类
- transformers
- PyTorch
- 机器学习
摘要
XLM-RoBERTa 是 RoBERTa 的多语言版本，在2.5TB过滤后的 CommonCrawl 数据（覆盖100种语言）上以掩码语言建模目标自监督预训练。该模型学习双向多语言表示，主要用于在序列分类、token分类、问答等下游任务上微调，而非直接做文本生成。适用于需要跨语言表示与多语言迁移的 NLP 任务。
README
--- tags: - exbert language: - multilingual - af - am - ar - as - az - be - bg - bn - br - bs - ca - cs - cy - da - de - el - en - eo - es - et - eu - fa - fi - fr - fy - ga - gd - gl - gu - ha - he - hi - hr - hu - hy - id - is - it - ja - jv - ka - kk - km - kn - ko - ku - ky - la - lo - lt - lv …