ultrascale-playbook nanotron

種別
space
ライセンス
apache-2.0
いいね
3,981
アクセス
public
ファイル
0

タグ

  • 大規模言語モデル
  • 学習ドキュメント
  • 分散学習
  • Webアプリ
  • 大規模訓練
  • Apache-2.0

概要

このSpaceは、大規模GPUクラスタ上で大規模言語モデル（LLM）を訓練するための包括的なプレイブック・ドキュメントサイトです。分散並列化の設計、クラスタ構成、スケーリング戦略など超スケール訓練のノウハウをまとめており、Apache-2.0ライセンスで公開されています。研究者やエンジニアが巨大クラスタでモデルを訓練する際の実践的リファレンスとして最適です。

README

--- title: ウルトラスケール・プレイブック emoji: 🌌 colorFrom: yellow colorTo: purple sdk: static pinned: true license: apache-2.0 header: mini app_file: dist/index.html thumbnail: https://huggingface.co/spaces/nanotron/ultrascale-playbook/resolve/main/screenshot.png short_description: 大規模GPUクラスターでLLMをトレーニングするための…

查看完整页面 · 查看原文