首页 /
深度阅读 cactus-compute / needle GitHub — 推荐指数 7 / 10 · 已本地抓取正文
专为微型设备优化的轻量级AI模型 cactus-compute / needle
专为微型设备优化的轻量级AI模型
https://github.com/cactus-compute/needle
分享到微信/朋友圈 · 复制文案 粘贴到微信即可，链接卡片自动带标题和简介 01 这是什么？Needle 2 是一个开源的 45M 参数模型，专注于工具调用、设备使用和结构化数据提取。它通过一个仅 14MB 的单一二进制文件运行，全会话内存占用约 28MB。该模型基于 Simple Attention Network 的研究成果，采用 CQ2-bit 压缩技术，并内置了自己的推理引擎。在性能上，Needle 2 与 FunctionGemma 270M、LFM2.5 230M 和 Apple FM 等小型模型相比，体积小 5 到 70 倍，同时仅使用 2 比特量化。
02 核心知识点自包含设计：权重集成在 14MB 的单一引擎中，无需管理单独的模型文件，推理过程无需网络。
简单契约：工具调用返回结构化数据，输入文本，输出 JSON；基于模式编译的字节级语法约束每个令牌。
置信度门控：每个响应携带校准后的置信度分数，可设置阈值决定是否执行或升级处理。
工具检索：声明大型工具目录，内置检索头每轮仅渲染前五个工具，语法约束于该子集。
有限内存：256 令牌滑动窗口，工具固定为 KV 接收器，总内存保持约 28MB 无论会话多长。
03 AI 分析Needle 2 的核心亮点在于其极简的体积与高效的内存管理，使其特别适合边缘设备和移动端应用。其内置的工具检索和置信度门控机制提高了实用性和可靠性。潜在影响包括推动小型模型在资源受限环境中的应用，以及为结构化数据提取和工具调用提供高效解决方案。
04 应用场景移动端和边缘设备上的 AI 应用
结构化数据提取（如发票、合同等）
自动化工具调用和工作流管理
低资源环境下的对话系统
05 学习建议上手：通过 pip install cactus-needle 安装，阅读官方文档了解 API 使用。
学习重点：掌握工具描述和结构化数据提取的配置方法。
参考资料：阅读 Simple Attention Network 的论文（arXiv:2607.18363）和项目文档（doc/apis.md）。
实践：尝试在 playground 中测试模型，并逐步进行 LoRA 微调。
06 给 Codex 的 PromptImplement a Python script using Needle 2 to extract structured data from text. Describe the schema using Pydantic models and demonstrate how to call the extraction function. Include error handling for low confidence scores and show how to integrate tool calling for a simple workflow. 复制 Prompt 阅读原文 ↗ ← 返回今日