智东西5月14日报导，今天清晨1点，抢在谷歌年度开发者大会Google I/O开幕前，OpenAI举行春季线上直播，宣告将推出
GPT-4o向所有人免费敞开，可实时跨文本、音频、视觉（图画与视频）进行推理，API定价只要GPT-4 Turbo的一半，速度到达GPT-4 Turbo的2倍。付费的ChatGPT Plus用户将取得5倍调用额度，并能最早拜访其全新macOS桌面App和下一代语音及视频功用。
这次OpenAI对AI谈天机器人ChatGPT的晋级仍然“直击人心”，实时语音翻译才能天然流通，感觉能直接替代同声传译了。
不只反响快、答复准，它还能按要求改动说话口气，从严寒机械到诙谐娇羞都信手拈来，而且能随时高歌一曲，听起来与真人无异。
除了语音谈天外，GPT-4o可以直接进行实时视频交互了！比方经过视频印象了解线性方程，还学会了“看脸色行事”，能经过人的表情和语调了解并判别出人的心情。
更有甚者，它能直接看你的屏幕，并依据看到的内容答复你的发问。比方当你展现一段代码，它会进行了解并告知你代码有什么样的问题，或许解读数据图表有什么信息。
整个发布节奏极快，只要大约半小时，期间展现了许多苹果设备，看来OpenAI与苹果的密切合作现已铁板钉钉。
免费和付费用户均可运用新功用。即日起开端的测验阶段仅限于ChatGPT Plus用户，未来几周内向更广泛用户敞开。其文本和图画输入今天推出，语音和视频功用将在未来几周推出。
Altman还在交际渠道上奥秘地留下一句“her”，好像在暗示ChatGPT完结了经典电影《她》（Her）中像人类相同“有血有肉”的AI。
网友Dogan Ural对此谈论：“你总算做到了。”并配了一张将电影《她》剧照中的AI“换头”成OpenAI的梗图。
一、OpenAI“万能”大模型上线 Turbo，免费敞开，API定价暴降
GPT-4o的o代表着“omni（万能）”。Murati称，GPT-4o为每个用户都供给了GPT-4级其他智能，一同还改进了GPT-4在文本、视觉以及音频方面的才能。
此前，GPT-4经过图画、文本数据的练习，可以剖析图画和文本从中提取文本或许描绘画面内容等，在此之上，GPT-4o增加了语音功用，使得用户与ChatGPT的交互更接近人与人的交互体会。GPT-4o在英语文本和代码上的功用与GPT-4 Turbo的功用相匹配，在非英语文本上的功用有明显进步。
Murati说，GPT-4o的发布意味着OpenAI在大模型的易用性方面迈出了一大步，其正在改动人机交互的协作形式。她谈道，在人们的互动中，如轻松打断对方、对话中包括多个声响的布景噪音、了解语调等对模型而言都十分复杂。
此前，用户运用语音功用与ChatGPT对线秒。语音功用由三个独立模型组成的Pipeline：一个简略模型将音频转录为文本，GPT-3.5或GPT-4接纳文本并输出文本，第三个简略模型将该文本转化回音频。这样的一个进程中，GPT-4会丢掉很多信息，如无法直接调查腔调、多个说话者或布景噪音，也无法输出笑声、歌唱或表达情感等。
速度快2倍，价格实惠公正50%，速率约束高达5倍。Murati着重说，怎么经过既有用又安全的方法将技能出现出来十分有挑战性，OpenAI的团队一直在研讨怎么样树立针对技能乱用的缓解办法。
OpenAI前沿研讨主管Mark Chen和后期练习团队负责人Barret Zoph在现场对实时语音对话功用进行了演示。经过点击ChatGPT右下角小图标，用户都可以进入语音交互形式。
实时呼应才能，在用户等候模型给出呼应之前不会有为难的时延；终究，该模型具有心情感知才能，还可以生成各种不同心情风格的语音。1、声情并茂讲故事，临场边歌唱边创造
首要，Chen让ChatGPT讲一个关于机器人和爱情的睡前故事，来帮他的朋友缓解失眠。ChatGPT被要求在讲故事时更有爱情，而且多些戏剧性。
“我期望你帮我处理一道数学题。”Zoph在ChatGPT中翻开手机视频通话，对ChatGPT说：“我要在一张纸上写下一个线性方程……不要告知我处理方案，仅仅协助给它进程的提示。”
在解题进程中，ChatGPT会经过发问对Zoph进行循循善诱。比方它会这样引导：“现在你在一边引入了x，看起来像是3x等于3。你以为之后咱们该做些什么？”Zoph称自己不确定，ChatGPT才进一步提示：“你现已有了3x，而你想要找到x的值，想一下什么操作会消掉乘法。”所以在引导和鼓舞下，Zoph终究把方程两头除以3完结解题。
Zoph演示了ChatGPT剖析代码的才能。他首要将一段Python代码输入ChatGPT，并让ChatGPT用一句话总结这段代码在做什么。
在X网友的提议下，Murati和Chen一同演示了ChatGPT实时翻译的才能。
除了发布会自身，Altman也一直在交际渠道X上一边进行现场“直播”，一边连珠炮式地转发新模型介绍。
本年2月，谷歌刚推出完结百万tokens长文本窗口的Gemini 1.5系列大模型，OpenAI就剑走偏锋，推出AI视频生成模型Sora，用冷艳全球科学技能圈的抢尽风头。
