FineFineWeb m-a-p
FineFineWeb: A Comprehensive Study on Fine-Grained Domain Web Corpus arXiv: Coming Soon Project Page: Coming Soon Blog: Coming Soon Data Statistics Domain (#tokens/#samples) Iteration 1 Tokens Iteration 2 Tokens Iteration 3 Tokens Total Tokens Iteration 1 Count Iteration 2 Count Iteration 3 Count Total Count aerospace 5.77B 261.63M 309.33M 6.34B 9100000 688505 611034 10399539 agronomy 13.08B 947.41M 229.04M 14.26B 15752828 2711790 649404 19114022… See the full description on the dataset page: https://huggingface.co/datasets/m-a-p/FineFineWeb.
- 種別
- dataset
- ライセンス
- apache-2.0
- 言語
- en
- ダウンロード
- 1,145,518
- いいね
- 167
- アクセス
- public
- ファイル
- 0
タグ
- 事前学習コーパス
- テキストデータ
- 英語語料
- NLP
- 大規模言語モデル
- データセット
- Apache-2.0
概要
FineFineWebは、FineWebデータセットを細粒度のドメイン別に分類・再構築した巨大英語ウェブコーパスであり、4兆トークンを超える規模を誇ります。URLラベル付けにGPT-4、サンプリング分類にQwen2-7B-Instruct、重複除去にMinHashなどの技術を組み合わせ、航空宇宙から映画まで80以上の細分化されたドメインをカバーしています。特にドメイン特化型LLMの事前学習やドメイン別評価用データの構築、コーパス分析の研究に適した資源です。
README
--- license: apache-2.0 task_categories: - text-classification - text2text-generation - text-generation language: - en size_categories: - n>1T --- # FineFineWeb: 細粒度ドメインWebコーパスに関する包括的研究 arXiv: 公開予定 プロジェクトページ: 公開予定 ブログ: 公開予定 ## Data Statistics | Domain (#tokens/#samples) | Iteration 1 Tokens | Itera…