一套业务系统可能接入排班、查单、库存等几十个工具。以往每次提问都附上每个工具的完整参数,模型还没开始做事,就已经读了大段这次用不到的格式说明。Google 在 11 月 19 日的公告中,把按需检索工具加入 Gemini Interactions API 的预览版。

开发者可以将不常用工具标成延迟加载。第一步,模型能看到工具的名称和简介;第二步,模型需要某项能力时按名称检索,API 补入那一个工具的参数定义;第三步,模型据此提出函数调用。真正执行操作并返回结果的仍是业务应用。调用记录会分列检索、返回和函数调用,方便定位模型在哪一步选错。

对只有几个常用工具的项目,完整参数本来就短。更值得比较的场景是上百个工具共用一套助手:可以用同一批请求记录输入词元数、工具选对的比例及往返耗时。若应用自己维护索引,公告还提供客户端检索方式,每次检索增加一次往返。这项取舍需要放进端到端的测量。

原始资料