bert-base-uncased google-bert

種別
model
タスク
fill-mask
フレームワーク
transformers
ダウンロード
117,026,353
いいね
2,734
アクセス
public
ファイル
0

タグ

  • テキスト分類
  • テキスト埋め込み
  • NLP
  • 事前学習
  • transformers
  • 質問応答
  • 大言語モデル

概要

マスク言語モデリング（MLM）と次文予測（NSP）の目的で英語コーパス上に自己教師あり学習された事前学習モデルです。文脈を双方向に理解する埋め込み表現を獲得でき、系列分類・トークン分類・質問応答など下流タスクへのファインチューニング基盤として広く利用されます。テキスト生成には不向きで、判定・理解系タスク向けのモデルです。

README

--- language: en tags: - exbert license: apache-2.0 datasets: - bookcorpus - wikipedia --- # BERT ベースモデル（uncased） 英語のマスク付き言語モデリング（MLM）目的で事前学習されたモデル。[本論文](https://arxiv.org/abs/1810.04805)で紹介され、[このリポジトリ](https://github.com/google-research/bert)で最初に公開されました。このモデルは uncased です。つまり、english と English を区別し…

查看完整页面 · 查看原文