needle cactus-compute

14MB foundation model for tiny devices; phones, wearables, smart home, and robots.

主要言語
Python
Stars
4,988
Forks
334

タグ

  • ライブラリ/SDK
  • ツール呼び出し
  • ローカルAI
  • 事前学習済みモデル
  • 省メモリ
  • モバイル

概要

スマホやウェアラブル、スマートホーム等の小型デバイス向けに設計された、14MBの超軽量基盤モデル（45Mパラメータ）を提供するPythonパッケージです。ツール呼び出しを構造化JSONで返し、スキーマからコンパイルされた文法で出力を制約するため、信頼度スコア付きで安定した関数呼び出しが可能です。推論・LoRAファインチューニング・モデルエクスポートに対応し、ブラウザで試せるPlaygroundも同梱されています。

README

![Needle](assets/banner.png) # Needle 2 Needle 2 は、ツール呼び出し、デバイス操作、構造化抽出のためのオープンな 45M パラメータのモデルです。モデル全体は単一の 14MB バイナリであり、フルセッションを約 28MB の RAM で実行します。当社の Simple Attention Network の研究成果に基づいて構築され、Cactus Quants によって CQ2 ビットに圧縮され、専用エンジンに組み込まれています。以下のベンチマークでは、Needle 2 は FunctionGemma 270M、LFM2.5 230M、Appl…

查看完整页面