needle cactus-compute

14MB foundation model for tiny devices; phones, wearables, smart home, and robots.

主要语言
Python
Stars
4,988
Forks
334

标签

  • 库/SDK
  • 工具调用
  • 嵌入式
  • 本地部署
  • 推理优化
  • 深度学习
  • Python

摘要

Needle 2 是一个仅 45M 参数、单文件 14MB 的端侧小模型，专注工具调用、设备使用与结构化抽取，提供 run/complete 两种驱动方式、按 schema 编译的字节级语法约束、置信度门控和内置工具检索头。整个模型与推理引擎打包为单一二进制，约 28MB 内存即可运行完整会话且推理无需联网，适合手机、可穿戴、智能家居、机器人等微型设备。项目还附带 LoRA 微调流程、浏览器 Playground 及 Pydantic 结构化抽取接口，适合在资源受限场景下做函数调用和 JSON 抽取。

README

![Needle](assets/banner.png) # Needle 2 Needle 2 是一个开源的 4500 万参数模型，用于工具调用、设备使用和结构化提取。整个模型是一个 14MB 的单一二进制文件，完整会话仅需约 28MB 内存即可运行。它基于我们的 Simple Attention Network 研究成果构建，使用 Cactus Quants 压缩至 CQ2 位，并集成到自己的引擎中。在下面的基准测试中，Needle 2 与 FunctionGemma 270M、LFM2.5 230M 和 Apple FM 等其他小型模型互有胜负，而体积小 5 到 70 倍，并且以 2 …

查看完整页面