ShareGPT_Vicuna_unfiltered anon8231489123
Further cleaning done. Please look through the dataset and ensure that I didn't miss anything. Update: Confirmed working method for training the model: https://huggingface.co/AlekseyKorshuk/vicuna-7b/discussions/4#64346c08ef6d5abefe42c12c Two choices: Removes instances of "I'm sorry, but": https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/blob/main/ShareGPT_V3_unfiltered_cleaned_split_no_imsorry.json Has instances of "I'm sorry, but":… See the full description on the dataset page: https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered.
- 类型
- dataset
- 许可
- apache-2.0
- 语言
- en
- 下载量
- 411,805
- 点赞
- 912
- 访问
- public
- 文件
- 0
标签
- 对话数据
- 指令微调
- 文本数据集
- 大语言模型
- 预训练语料
- 数据处理
摘要
该数据集从ShareGPT约10万条对话中筛选清洗出约5.3万条英语对话，用于训练Vicuna类大语言模型。清洗过程剔除非英语内容、过度Unicode字符，以及大量涉及安全拒绝类措辞的对话，形成"未过滤"训练语料。数据按2048 token切分，适合用于指令微调大语言模型的对话数据。
README
--- license: apache-2.0 language: - en --- **已完成进一步清理。请仔细审阅数据集，确保我没有遗漏任何内容。** **更新：确认有效的模型训练方法：https://huggingface.co/AlekseyKorshuk/vicuna-7b/discussions/4#64346c08ef6d5abefe42c12c** 两种选择： - 移除了包含“I'm sorry, but”的实例：https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/blob/mai…