electra-base-discriminator google

标签

• 文本分类
• 文本嵌入
• 预训练语料
• NLP
• transformers
• 机器学习
• 微调

摘要

ELECTRA 是一种自监督语言表示学习方法，通过训练判别器区分真实 token 与生成器产生的伪造 token，在较低计算成本下实现高效预训练。该模型为 base 规模的判别器，在单 GPU 上即可训练并取得较好效果，大规模时在 SQuAD 2.0 等任务上达到领先水平。适用场景包括文本分类、问答、序列标注等下游 NLP 任务，可进行微调使用。

README

--- language: en thumbnail: https://huggingface.co/front/thumbnails/google.png license: apache-2.0 --- ## ELECTRA：预训练文本编码器——判别器而非生成器 **ELECTRA** 是一种自监督语言表示学习的新方法。它能以相对较低的计算量来预训练 Transformer 网络。ELECTRA 模型经过训练，能够区分“真实”输入 token 与另一个神经网络生成的“伪造”输入 token，类似于[GAN](https://arxiv.org/pdf/1406.2661.pdf)中的判别器…