the_cauldron HuggingFaceM4
Dataset Card for The Cauldron Dataset description The Cauldron is part of the Idefics2 release. It is a massive collection of 50 vision-language datasets (training sets only) that were used for the fine-tuning of the vision-language model Idefics2. Load the dataset To load the dataset, install the library datasets with pip install datasets. Then, from datasets import load_dataset ds = load_dataset("HuggingFaceM4/the_cauldron", "ai2d") to download… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceM4/the_cauldron.
- 種別
- dataset
- ダウンロード
- 268,865
- いいね
- 552
- アクセス
- public
- ファイル
- 0
タグ
- 多模态
- 視覚モデル
- 画像データセット
- 指令微調整
- 对話データ
- CNNVAQ
概要
The Cauldronは、ビジョン言語モデルIdefics2の微調整に使われた50個のビジョン言語データセット（学習用のみ）を統合した大規模コレクションです。画像とユーザー/アシスタントのテキストペアで構成され、VQA、チャート理解、文書QA、数式、図の説明など幅広い下流タスクをカバーします。マルチモーダルモデルの指示追従能力向上やマルチタスク学習に適した多用途データセットです。
README
--- dataset_info: - config_name: ai2d features: - name: images sequence: image - name: texts list: - name: user dtype: string - name: assistant dtype: string - name: source dtype: string splits: - name: train num_bytes: 435362437.84770346 num_examples: 2434 download_size: 438136609 dataset_size: 43…