UltraFeedback openbmb
Introduction GitHub Repo UltraRM-13b UltraCM-13b UltraFeedback is a large-scale, fine-grained, diverse preference dataset, used for training powerful reward models and critic models. We collect about 64k prompts from diverse resources (including UltraChat, ShareGPT, Evol-Instruct, TruthfulQA, FalseQA, and FLAN). We then use these prompts to query multiple LLMs (see Table for model lists) and generate 4 different responses for each prompt, resulting in a total of 256k samples. To… See the full description on the dataset page: https://huggingface.co/datasets/openbmb/UltraFeedback.
- 类型
- dataset
- 许可
- mit
- 语言
- en
- 下载量
- 5,838
- 点赞
- 432
- 访问
- public
- 文件
- 0
标签
- 人类反馈
- 指令微调
- 评测基准
- 文本数据集
- 生成式AI
- 大语言模型
- 强化学习
- 多教师
摘要
UltraFeedback 是一个大规模、细粒度、多样化的偏好偏好数据集，涵盖约6.4万条多样化指令与25.6万条模型回复，并附有约38万条高质量数值与文本反馈标注。该数据集基于指令遵循、真实性、诚实性、有用性四个维度进行细粒度标注，可用于训练奖励模型、评论模型及RLHF对齐研究。适用于强化学习、偏好学习和模型对齐等场景。
README
--- license: mit task_categories: - text-generation language: - en size_categories: - 100K<n<1M --- ## 引言 - [GitHub 仓库](https://github.com/thunlp/UltraFeedback) - [UltraRM-13b](https://huggingface.co/openbmb/UltraRM-13b) - [UltraCM-13b](https://huggingface.co/openbmb/UltraCM-13b) UltraFeedback 是一个*…