roberta-base FacebookAI

タグ

• テキスト分類
• NLP
• 事前学習
• 特徴抽出
• transformers
• 大言語モデル
• マスク言語モデリング

概要

RoBERTaはマスク言語モデリング（MLM）目的関数で英語の大規模コーパス（BookCorpus、Wikipedia等160GB）を使って自己教師あり学習されたTransformerモデルです。BERTの改良版で動的マスキングや大規模バッチを採用し、品詞や文脈を双方向に理解できます。主に系列分類・トークン分類・質問応答などの下流タスクへのファインチューニング用途を想定しており、汎用的な特徴抽出にも活用できます。

README

--- language: en tags: - exbert license: mit datasets: - bookcorpus - wikipedia --- # RoBERTa base model マスク言語モデリング（MLM）目的を使用して、英語で事前学習されたモデルです。このモデルは [この論文](https://arxiv.org/abs/1907.11692)で紹介され、初めて [このリポジトリ](https://github.com/pytorch/fairseq/tree/master/examples/roberta)で公開されました。このモデルは大文字と小文字を区…