GreptimeAI + Xinference 联合方案：高效部署并监控你的 LLM 应用

启动 Xinference 模型服务

在本地启动 Xinference 模型服务的方式非常简单，只需要输入如下命令即可：

xinference-local -H 0.0.0.0

Web UI 方式启动模型

Xinference 启动之后，在浏览器中输入 http://localhost:9997 来访问 Web UI。

(The steps of Xinference starup)

命令行方式启动模型

我们也可以使用 Xinference 的命令行工具来启动模型，默认 Model UID 是 qwen-chat（后续将通过这个 ID 来访问模型）。

xinference launch -n qwen-chat -s 14 -f pytorch

假设我们有能力通过调用 get_current_weather 函数来获取指定城市的天气信息，参数为 location 和 format。

from greptimeai import openai_patcher
from openai improt OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:9997/v1",
)
openai_patcher.setup(client=client)

messages = [
    {"role": "system", "content": "你是一个有用的助手。不要对要函数调用的值做出假设。"},
    {"role": "user", "content": "上海现在的天气怎么样？"}
]
chat_completion = client.chat.completions.create(
    model="qwen-chat",
    messages=messages,
    tools=tools,
    temperature=0.7
)
print('func_name', chat_completion.choices[0].message.tool_calls[0].function.name)
print('func_args', chat_completion.choices[0].message.tool_calls[0].function.arguments)

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_current_weather",
            "description": "获取当前天气",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "城市，例如北京",
                    },
                    "format": {
                        "type": "string",
                        "enum": ["celsius", "fahrenheit"],
                        "description": "使用的温度单位。从所在的城市进行推断。",
                    },
                },
                "required": ["location", "format"],
            },
        },
    }
]

func_name: get_current_weather
func_args: {"location": "上海", "format": "celsius"}

获取 function call 结果并再次调用接口

这里假设我们用给定的参数调用了 get_current_weather 函数，并已经获取到了结果，将结果和上下文重新发送给 Qwen 模型：

messages.append(chat_completion.choices[0].message.model_dump())
messages.append({
    "role": "tool",
    "tool_call_id": messages[-1]["tool_calls"][0]["id"],
    "name": messages[-1]["tool_calls"][0]["function"]["name"],
    "content": str({"temperature": "10", "temperature_unit": "celsius"})
})

chat_completion = client.chat.completions.create(
    model="qwen-chat",
    messages=messages,
    tools=tools,
    temperature=0.7
)
print(chat_completion.choices[0].message.content)

最终结果

Qwen 模型最终将返回显示的响应如下所示：

上海现在的温度是 10 摄氏度。

GreptimeAI 看板