fineweb-edu HuggingFaceFW
📚 FineWeb-Edu 1.3 trillion tokens of the finest educational data the 🌐 web has to offer Paper: https://arxiv.org/abs/2406.17557 What is it? 📚 FineWeb-Edu dataset consists of 1.3T tokens and 5.4T tokens (FineWeb-Edu-score-2) of educational web pages filtered from 🍷 FineWeb dataset. This is the 1.3 trillion version. To enhance FineWeb's quality, we developed an educational quality classifier using annotations generated by LLama3-70B-Instruct. We… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu.
- 種別
- dataset
- ライセンス
- odc-by
- 言語
- en
- ダウンロード
- 403,783
- いいね
- 1,259
- アクセス
- public
- ファイル
- 0
タグ
- 事前学習コーパス
- 英語コーパス
- テキストデータ
- 大規模データセット
- 大言語モデル
- NLP
- データセット
- 機械学習
概要
FineWeb-Eduは、FineWebデータセットから教育性の高いWebページだけをフィルタリングした1.3兆トークンの英語テキストコーパスです。LLaMA3-70Bが生成した注釈を基に教育品質分類器を開発し、Webデータの品質を大幅に向上させています。大規模言語モデルの事前学習用データとして最適で、教育・学術的な内容に特化した高品質な言語モデリングを実現するのに適しています。
README
--- license: odc-by task_categories: - text-generation language: - en pretty_name: FineWeb-Edu size_categories: - n>1T configs: - config_name: default data_files: - split: train path: data/*/* features: - name: text dtype: string - name: id dtype: string - name: dump dtype: string - name: url dtype…