bert-base-uncased google-bert

类型
model
任务
fill-mask
框架
transformers
下载量
117,026,353
点赞
2,734
访问
public
文件
0

标签

  • 文本生成
  • 文本分类
  • 文本嵌入
  • NLP
  • 大语言模型
  • transformers
  • 预训练语料
  • 微调

摘要

BERT base（uncased）是谷歌基于英文语料（BookCorpus与英文维基百科）以自监督方式预训练的Transformer模型，通过掩码语言建模（MLM）和下一句预测（NSP）学习双向语言表征。它主要用于提取文本特征并微调到序列分类、token分类、问答等下游任务，而不是用于文本生成。模型有110M参数，直接可用于fill-mask任务，适合作为各类NLP任务的预训练底座。

README

--- language: en tags: - exbert license: apache-2.0 datasets: - bookcorpus - wikipedia --- # BERT 基础模型（不区分大小写） 该模型使用掩码语言建模（MLM）目标在英语上进行了预训练。它是在 [这篇论文](https://arxiv.org/abs/1810.04805)中提出的，并首次发布于 [此仓库](https://github.com/google-research/bert)。该模型不区分大小写：它不会区分 english 和 English。 免责声明：发布 BERT 的团队并未为该模…

查看完整页面 · 查看原文