我要投稿

LLM 函数调用通用方案

发布日期：2024-12-19 07:28:45 浏览次数： 1790 来源：数翼

大模型函数调用简介

大语言模型 (LLM) 擅长解决许多类型的问题。但是，它们受到以下限制：

• 模型在训练后被冻结，导致知识过时。
• 无法查询或修改外部数据。

函数调用可以解决这些缺点。函数调用有时也称为「工具使用」，因为它允许模型使用外部工具，例如 API 和函数。

向 LLM 提交提示时，您还需要向模型提供一组工具，以便模型可以使用这些工具来响应用户提示。例如，您可以提供一个函数 get_weather，该函数接受一个位置参数，并返回该位置的天气状况信息。

处理提示时，该模型可以选择将某些数据处理任务委托给您确定的函数。模型不会直接调用函数。相反，模型会提供结构化数据输出，其中包含要调用的函数和要使用的参数值。例如，对于提示 北京的天气怎么样，模型可以将处理委托给 get_weather 函数，并提供位置参数值 北京。

您可以使用模型的结构化输出来调用外部 API。例如，您可以连接到天气服务 API，提供位置，并接收有关温度、云量和风况的信息。

然后，您可以将 API 输出返回给模型，使模型能够完成对提示的回答。对于天气示例，模型可能会提供以下回答：

北京现在 18 度，多云，空气质量良好。

函数调用的应用场景

您可以使用函数调用执行以下任务：

• 与外部 API 集成

• 使用气象 API 获取天气信息
• 将地址转换为纬度/经度坐标
• 使用货币兑换 API 进行货币转换

• 构建高级聊天机器人

• 回答客户关于产品和服务的问题
• 创建一个助理来回答有关公司财务和新闻的问题

• 结构和控制函数调用

• 从原始日志数据中提取结构化实体
• 从用户输入中提取单个或多个参数
• 在函数调用中处理列表和嵌套数据结构

• 处理函数调用行为

• 处理并行函数调用和响应
• 管理模型可以调用的时间和函数

• 使用自然语言查询数据库

• 将自然语言问题转换为适用于 BigQuery 的 SQL 查询

• 多模态函数调用

• 使用图片、视频、音频和 PDF 作为输入来触发函数调用

函数调用工作原理

使用函数调用功能，需要向模型提示添加描述编程接口的结构化查询数据（称为函数声明）。函数声明提供 API 函数的名称，说明其用途、支持的所有参数以及这些参数的说明。将查询中的函数声明列表传递给模型后，模型会分析函数声明和查询的其余部分，以确定如何使用声明的 API 来响应请求。

然后，模型返回一个 OpenAPI 兼容架构中的对象，其中指定了如何调用一个或多个已声明的函数，以便回答用户的问题。然后，您可以采用建议的函数调用参数，调用实际 API，获取响应，并将该响应提供给用户或执行进一步操作。

创建函数调用应用的过程

创建一个能够与模型交互并使用函数调用的程序，大致过程如下：

• 模型选择和设置环境。
• 使用函数声明定义和描述一组可用的函数。
• 向模型提交用户的提示和函数声明。
• 使用模型输出的结构化数据调用函数。
• 向模型提供函数输出。

我们一般创建一个应用来管理所有这些任务。应用可以是文本聊天机器人、语音客服、自动化工作流或任何其他程序。

函数声明

我们遵循 OpenAPI 架构^[1] 来设计一个标准的函数声明定义，来适应大多数的大模型。

在提示中实现函数调用时，先创建一个 tools 对象，其中包含一个或多个 函数声明。

使用 OpenAPI 架构^[2] 格式定义函数。单个函数声明可以包含以下参数：

• name（字符串）：API 调用中函数的唯一标识符。
• description（字符串）：全面说明函数的用途和功能。
• parameters（对象）：定义函数所需的输入数据。

• type（字符串）：参数的数据类型，例如 string、integer、boolean。
• description（字符串）：清晰说明参数的用途和预期格式。

• type（字符串）：指定整体数据类型，例如 object。
• properties（对象）：列出各个参数，每个参数均包含：
• required（数组）：列出参数名称的字符串数组它们是函数运行所必需的。

函数声明最佳实践

• name：使用清晰、描述性强的名称，不含空格、英文句点 (.) 或短划线 (-) 字符。请改用下划线 (_) 字符或驼峰命名法。
• description：提供详细、清晰且具体的功能说明，必要时提供示例。避免过于宽泛或不明确信息。
• properties > type：使用强类型参数来减少模型幻觉。例如，如果参数值来自设置时，请使用 enum 字段，而不是在说明中列出值（例如，"type": "enum", "values": ["now_playing", "upcoming"]）。如果参数值始终为整数，请将类型设置为 integer，而不是 number。
• properties > description：提供具体示例和限制条件。

支持函数调用的模型

很多模型本身支持了函数调用，比如：

• OpenAI GPT
• Anthropic Claude
• Amazon SageMaker
• Google Gemini
• GLM4
• Hammer
• Qwen
• ...

我们可以基于这些模型和平台编写特定的程序来实现函数调用功能。

通用提示词

虽然很多平台和模型都支持原生的函数调用，为什么还要讲提示词呢：

• 首先我们很可能我们使用的模型并不支持，
• 其次模型原生的函数调用格式和API并不通用，如果迁移平台的话比较麻烦。

下面讲通过提示词来实现通用的函数调用（使用 Python 代码进行格式化）。

respones_shema = {
  "title": "Function Call",
"type": "object",
"properties": {
    "functionCall": {
      "type": "object",
      "properties": {
        "name": {
          "type": "string",
          "description": "The name of the function to call."
        },
        "args": {
          "description": "Arguments for the function, can be any valid JSON object.",
          "oneOf": [
            {"type": "null"},
            {"type": "boolean"},
            {"type": "integer"},
            {"type": "number"},
            {"type": "string"},
            {"type": "array"},
            {"type": "object"}
          ]
        }
      },
      "required": ["name", "args"],
      "additionalProperties": false
    }
  },
"required": ["functionCall"],
"additionalProperties": false
}


system_prompts = f"""
You have access to the following tools:
{json.dumps(tools)}

You can select one of the above tools or 
just response user's content and respond 
with only a JSON object matching the following schema:
{json.dumps(response_schema)}
"""