FineFineWeb m-a-p
FineFineWeb: A Comprehensive Study on Fine-Grained Domain Web Corpus arXiv: Coming Soon Project Page: Coming Soon Blog: Coming Soon Data Statistics Domain (#tokens/#samples) Iteration 1 Tokens Iteration 2 Tokens Iteration 3 Tokens Total Tokens Iteration 1 Count Iteration 2 Count Iteration 3 Count Total Count aerospace 5.77B 261.63M 309.33M 6.34B 9100000 688505 611034 10399539 agronomy 13.08B 947.41M 229.04M 14.26B 15752828 2711790 649404 19114022… See the full description on the dataset page: https://huggingface.co/datasets/m-a-p/FineFineWeb.
- 类型
- dataset
- 许可
- apache-2.0
- 语言
- en
- 下载量
- 1,145,518
- 点赞
- 167
- 访问
- public
- 文件
- 0
标签
- 预训练语料
- 文本数据集
- 大语言模型
- NLP
- 评测基准
- 多语言语料
摘要
FineFineWeb是一个细粒度领域网页语料库数据集，基于FineWeb去重后，用GPT-4和Qwen2-7B等模型对URL和样本打标签，构建覆盖航空、农业、艺术、计算机等70多个专业领域的英文网页语料。该数据集总量超过4.4万亿token，按领域分组织，采用多轮迭代构建，可用于大语言模型的领域化预训练与评测。
README
--- license: apache-2.0 task_categories: - text-classification - text2text-generation - text-generation language: - en size_categories: - n>1T --- # FineFineWeb：细粒度领域网络语料库综合研究 arXiv：即将发布 项目主页：即将发布 博客：即将发布 ## Data Statistics | Domain (#tokens/#samples) | Iteration 1 Tokens | Iteration 2 Tokens | Ite…