暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

解锁 AI 潜力 | 使用 GreptimeAI 深入观测 OpenAI 行为和用量

GreptimeDB 2024-01-11
0


随着人工智能技术的迅速进步,OpenAI 已经崭露头角,成为该领域的领军者之一。它在多种语言处理任务上表现卓越,包括机器翻译、文本分类和文本生成等。

然而,使用 OpenAI 时,持续监控 API 调用的重要性不容忽视,这不仅可以帮助我们识别出性能瓶颈,统计和分析使用情况,还可以帮助我们在 API 出现问题时快速发现并进行相应的处理


01

GreptimeAI 



GreptimeAI 提供了专为监测和管理大型语言模型(LLM)应用设计的定制可观测性解决方案。这一方案使您能够全面了解成本、性能、流量和安全性方面的情况。更多关于 GreptimeAI 的产品细节,请参阅 此文。值得一提的是,GreptimeAI 的存储解决方案构建于开源时序数据库 GreptimeDB 之上。


02

哪些 OpenAI 的模块会被监控



  • chat

  • completion

  • audio

  • images


03

支持的场景



  • async

  • stream

  • with_raw_response

  • retry

  • error


04

用户指南



安装 GreptimeAI 
pip install --upgrade greptimeai


注册 GreptimeAI

首先,注册 GreptimeAI 以创建一个服务,并获取以下参数:

  • host

  • database

  • token


配置
在环境变量中设置 GreptimeAI 需要的配置:
export GREPTIMEAI_HOST='xxx'
export GREPTIMEAI_DATABASE='xxx'
export GREPTIMEAI_TOKEN='xxx'


如果你希望直接传递参数,可以这么做:
openai_patcher.setup(
    host=os.environ.get("GREPTIMEAI_HOST"),
    database=os.environ.get("GREPTIMEAI_DATABASE"),
    token=os.environ.get("GREPTIMEAI_TOKEN"),
    client=client,
)


Example
以下是一个简单的示例,说明如何在启用了 GreptimeAI 跟踪的情况下调用 OpenAI chat completion 模块。
from greptimeai import openai_patcher
from openai import OpenAI

client = OpenAI()
openai_patcher.setup(client=client)

completion = client.chat.completions.create(
    messages=[
        {
            "role""user",
            "content""How do I output all files in a directory using Python?",
        }
    ],
    model="gpt-4",
    user="<user_id_from_your_application>",
    stream=True,
)


05

What does it look like in GreptimeAI



Overview

(The demonstration of GreptimeAI)


下图展示了带有多个 span 的追踪细节:

(The details of trace)


06

关于 Greptime



Greptime 格睿科技于 2022 年创立,目前正在完善和打造时序数据库 GreptimeDB,格睿云 GreptimeCloud 和可观测工具 GreptimeAI 这三款产品。


GreptimeDB 是一款用 Rust 语言编写的时序数据库,具有分布式、开源、云原生、兼容性强等特点,帮助企业实时读写、处理和分析时序数据的同时,降低长期存储的成本。


GreptimeCloud 基于开源的 GreptimeDB,为用户提供全托管的 DBaaS,能够与可观测性、物联网等领域结合的应用产品结合。利用云提供软件和服务,可以达到快速的自助开通和交付,标准化的运维支持,和更好的资源弹性。


GreptimeAI 是为 LLM 应用量身定制的可观测性解决方案,开发者可以通过该方案全面、深入地了解应用的成本、性能、流量和安全情况,在保证低成本和高性能的同时提供高效可靠的分析能力,同时保留了时序数据库的灵活性。


GreptimeCloud 已正式公测,欢迎关注公众号或官网了解最新动态!


官网:https://greptime.cn/

GitHub: https://github.com/GreptimeTeam/greptimedb

文档:https://docs.greptime.cn/

Twitter: https://twitter.com/Greptime

Slack: https://greptime.com/slack

LinkedIn: https://www.linkedin.com/company/greptime/



点击下方链接🔗关注 GreptimeDB,了解更多技术干货👇

往期精彩文章:


GreptimeDB 提供 Enterprise 企业版服务,如有需要请联系 info@greptime.com 或添加小助手微信(微信号:greptime).

👇 点击下方阅读原文,立即体验 GreptimeAI!

文章转载自GreptimeDB,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论