Needle：将 Gemini Tool Calling 压缩到 26M 参数的技术突破
Needle 项目通过知识蒸馏技术，成功将 Gemini 的工具调用能力压缩到仅 26M 参数的小模型。这个创新使得在边缘设备、浏览器和移动应用中实现高效的 AI Agent 成为可能，大幅降低了部署成本和推理延迟。
学习、工作与兴趣的记录
Needle 项目通过知识蒸馏技术，成功将 Gemini 的工具调用能力压缩到仅 26M 参数的小模型。这个创新使得在边缘设备、浏览器和移动应用中实现高效的 AI Agent 成为可能，大幅降低了部署成本和推理延迟。