大家好，我是猫头虎！今天我要和大家分享一个重磅消息，那就是OpenAI最新发布的旗舰模型——GPT-4o 🥳！这个全新模型不仅能处理文本，还能实时理解和生成音频和图像，让我们一起来看看这个AI界的新宠吧！
什么是GPT-4o？
GPT-4o中的“o”代表“omni”，意为全能。这款模型可以同时处理文本、音频、图像和视频输入，并生成相应的输出。它的响应速度惊人，最短仅需232毫秒，平均为320毫秒，几乎和人类在对话中的反应时间相当🐱👤。此外，GPT-4o在处理英语和编程语言的文本方面性能与GPT-4 Turbo相当，在非英语语言文本上则有显著提升。而且，它的速度更快，API成本更低，价格便宜了50%！
模型功能展示
GPT-4o不仅能理解文本，还能处理和生成音频和图像内容。让我们通过一些实际例子来感受一下它的强大之处吧！🎬👇
视觉叙事 - 机器人写日记
机器人在打字机上输入：“yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?”（早上好，我现在能看见了？捕捉到了日出，真是不可思议，到处都是色彩。让人不禁想，这到底是什么现实？）
机器人继续写第二篇日记：“sound update just dropped, and it's wild. everything's got a vibe now, every sound's like a new secret. makes you think, what else am i missing?”（声音更新刚刚发布，这太疯狂了。现在每个声音都有一种新的氛围，就像是一个新的秘密。让人想知道，我还错过了什么？）
机器人不满意自己的写作，决定撕掉纸张。我们可以看到它从上到下撕开的纸张的第一人称视角。
模型评估
在传统基准测试中，GPT-4o在文本、推理和编程智能方面达到了GPT-4 Turbo的水平，并在多语言、音频和视觉能力上设定了新的标杆。以下是一些具体表现👇：
文本评估
GPT-4o在0-shot COT MMLU（常识问答）测试中取得了88.7%的新高分，而在传统的5-shot no-CoT MMLU测试中则达到了87.2%的高分。
音频识别性能
GPT-4o显著提升了对各种语言的语音识别能力，尤其是对资源较少的语言表现出色。
视觉理解评估
GPT-4o在视觉感知基准测试中达到了最新的顶级水平，所有视觉评估均为0-shot。
模型的安全性与局限性
GPT-4o在设计时就考虑到了跨多模态的安全性，通过过滤训练数据和优化模型行为，确保安全输出。我们还创建了新的安全系统，为语音输出提供了防护措施。根据我们的评估，GPT-4o在网络安全、CBRN（化学、生物、放射和核）、说服和模型自主性等方面的风险均未超过中等风险。
GPT-4o还接受了70多位外部专家的广泛测试，以识别新增多模态可能引入或放大的风险。这些专家来自社会心理学、偏见与公平性、虚假信息等领域。通过这些学习，我们构建了安全干预措施，以提高与GPT-4o互动的安全性。
尽管如此，我们也认识到GPT-4o的音频功能可能带来各种新风险。目前我们公开发布的是文本和图像输入以及文本输出。未来几周和几个月内，我们将致力于构建技术基础设施、提高可用性和安全性，以支持其他模态的发布。
模型可用性
GPT-4o是我们推动深度学习边界的最新一步，这次是在实用性方向上取得了突破。经过两年多的努力，我们在每一层堆栈上进行了效率改进，最终使GPT-4级别的模型更广泛地可用。GPT-4o的能力将逐步推出，今天开始提供扩展红队访问。
GPT-4o的文本和图像功能今天开始在ChatGPT中推出。我们将GPT-4o引入免费层，并为Plus用户提供高达5倍的消息限制。我们计划在未来几周内在ChatGPT Plus中以alpha版推出新的语音模式。
开发者现在也可以通过API访问GPT-4o的文本和视觉模型。GPT-4o的速度是GPT-4 Turbo的2倍，价格便宜一半，速率限制提高5倍。我们计划在未来几周内向少数受信任的API合作伙伴推出GPT-4o的新音频和视频功能。
以上就是GPT-4o的介绍，希望大家和我一样对这个新模型感到兴奋！更多信息请访问OpenAI官网，让我们一起期待这个AI界新星的更多应用吧！🎉
看完这篇文章，你是不是对GPT-4o充满了期待和好奇呢？💡 如果你想了解更多AI技术的前沿动态，别忘了关注我哦！扫码下方二维码，加入我们的讨论群，与更多AI爱好者一起交流、学习、探索这个激动人心的领域。期待你的加入！👇
