opt-125m facebook

类型
model
任务
text-generation
框架
transformers
下载量
17,322,276
点赞
292
访问
public
文件
0

标签

  • 文本生成
  • 大语言模型
  • 生成式AI
  • NLP
  • 零样本学习
  • 微调
  • transformers
  • 深度学习

摘要

facebook/opt-125m 是 Meta AI 开源的 OPT 系列中最小规模的解码器专用预训练 Transformer 语言模型，参数约 1.25 亿。它以因果语言建模目标在约 180B token 的英文语料上进行自监督预训练，可直接用于文本生成及零样本/少样本任务提示，也可在下游任务上微调。该模型旨在面向研究者开放，用于研究大语言模型的鲁棒性、偏见与毒性等问题，适合文本生成、提示评测和微调实验场景。

README

--- language: en inference: false tags: - text-generation - opt license: other commercial: false --- # OPT：开放预训练 Transformer 语言模型 OPT 首次在[开放预训练 Transformer 语言模型](https://arxiv.org/abs/2205.01068)中提出，并于 2022 年 5 月 3 日由 Meta AI 在[metaseq 的代码库](https://github.com/facebookresearch/metaseq)中首次发布。 **免责声明…

查看完整页面 · 查看原文