airllm lyogavin

AirLLM 70B inference with single 4GB GPU

主要言語
Jupyter Notebook
Stars
30,779
Forks
3,273

タグ

  • ライブラリ/SDK
  • ローカルAI
  • 事前学習済みモデル
  • LLM推論
  • 省メモリ

概要

AirLLMは、70B規模の大規模言語モデルをわずか4GBのGPUメモリだけで推論実行できるようにする省メモリ推論ライブラリです。層単位でモデルをロードして推論する手法でGPUメモリ使用量を大幅に削減し、高性能GPUを持たない環境でも大規模LLMをローカルで動かせます。Llamaなど主要なオープンモデルに対応しており、ローカルAIでの大規模モデル推論を低コストで実現したい開発者に向いています。

README

# Anima ![Animaロゴ](https://github.com/lyogavin/airllm/blob/main/anima_logo.png?raw=true) 最初のQLoRAベースの33B完全オープンソースの中国語LLM *この内容を[中国語](README.md)で読む。この内容を[英語](README_en.md)で読む。* <div align="left"> <a href="https://github.com/lyogavin/Anima/stargazers">![GitHub Repo stars](https://img.shields.io/githu…

查看完整页面