opt-125m facebook

태그

• 텍스트 생성
• 대형 언어 모델
• transformers
• 사전학습
• 파인튜닝
• 생성형AI

요약

OPT는 메타 AI가 공개한 GPT-3 계열의 디코더 전용 트랜스포머 기반 사전학습 언어모델로, 125M부터 175B까지 다양한 크기로 제공됩니다. 텍스트 생성과 제로/퓨샷 학습, 다운스트림 태스크 파인튜닝에 활용되며, 연구 커뮤니티의 재현 가능한 LLM 연구를 목표로 합니다. 영어 위주로 사전학습되었으며 transformers 파이프라인으로 쉽게 사용할 수 있습니다.

README

--- language: en inference: false tags: - text-generation - opt license: other commercial: false --- # OPT : Open Pre-trained Transformer Language Models OPT는 [Open Pre-trained Transformer Language Models](https://arxiv.org/abs/2205.01068) 논문에서 처음 소개되었으며, 2022년 5월 3일 Meta AI에 의해 [metaseq 저장소](https…