falcon-refinedweb tiiuae
📀 Falcon RefinedWeb Falcon RefinedWeb is a massive English web dataset built by TII and released under an ODC-By 1.0 license. See the 📓 paper on arXiv for more details. RefinedWeb is built through stringent filtering and large-scale deduplication of CommonCrawl; we found models trained on RefinedWeb to achieve performance in-line or better than models trained on curated datasets, while only relying on web data. RefinedWeb is also "multimodal-friendly": it contains links and… See the full description on the dataset page: https://huggingface.co/datasets/tiiuae/falcon-refinedweb.
- 種別
- dataset
- ライセンス
- odc-by
- 言語
- en
- ダウンロード
- 93,564
- いいね
- 947
- アクセス
- public
- ファイル
- 0
タグ
- 事前学習コーパス
- 英語コーパス
- テキストデータ
- 大規模データセット
- 大規模言語モデル
- NLP
- 深層学習
概要
Falcon RefinedWebは、TIIが公開した大規模な英語Webテキストデータセットです。CommonCrawlに対して厳格なフィルタリングと大規模な重複排除を施し、Falcon LLMシリーズの事前学習に使用されました。約10億のWebページから構成され、キュレーションされたデータセットと同等以上の性能を達成できるのが特徴です。大規模言語モデルの事前学習用途に最適で、文書には画像URLやaltテキストも含まれています。
README
--- dataset_info: features: - name: content dtype: string - name: url dtype: string - name: timestamp dtype: timestamp[s] - name: dump dtype: string - name: segment dtype: string - name: image_urls sequence: sequence: string splits: - name: train num_bytes: 2766953721769 num_examples: 968000015 dow…