<p>OpenAI 的新语音对语音模型旨在实现更自然的语音和推理，展示了语音对语音技术的持续演变，以及 AI 语音与人类语音之间的差异日益模糊。</p>
<p>在 8 月 28 日，这家 AI 供应商推出了 gpt-realtime 和新的 API 功能，包括模型上下文协议（MCP）服务器支持、图像输入和通过会话发起协议（SIP）进行电话呼叫。SIP 是一种用于发起、管理和终止多媒体通信会话的协议，如语音和视频通话、即时消息和 IP 网络上的游戏。</p>
<p>OpenAI 表示，新的 gpt-realtime 语音对语音 在解释系统消息和开发者提示方面表现良好。这意味着该模型可以逐字读取支持电话中的免责声明脚本，在句子中间切换语言或将字母数字段落重复给用户。OpenAI 还发布了两个新声音，Cedar 和 Marin，这些声音在实时 API 中可用。</p>
<p>gpt-realtime 中的图像输入还允许用户将图像、照片、截图以及音频或文本添加到实时 API 中。OpenAI 在去年十月推出了实时 API，现在已普遍可用，连同新的语音模型。</p>
<h2>一些好处</h2>
<p>该模型最适合自然声音的 语音代理 将蓬勃发展。</p>
<p>&#34;gpt-realtime 将语音识别、推理和语音生成统一为一个模型，消除了多模型管道的延迟，&#34;Gartner 的分析师 Arun Chandrasekaran 说。&#34;这使其适合实时、以语音为主的应用程序，在这些应用中流畅性和速度至关重要。&#34;</p>
<p>他补充说，客户支持和呼叫中心将受益于富有表现力的多语言声音。此外，教育和医疗行业可以利用它们进行辅导或患者互动。</p>
<p>Chandrasekaran 表示，这些新声音对人类的表现力也有益。</p>
<p>&#34;它忠实地遵循指令，承诺更平滑的情感语调，&#34;他说。</p>
<p>新的模型在用户体验方面是一个不错的演变，The Futurum Group 的分析师 David Nicholson 表示。</p>
<p>&#34;一些新声音听起来更自然，[这] 会让一些人感到高兴，而让另一些人感到不安，&#34;他说。&#34;它仍然不是最自然的，但现在是最流畅的'后端'。&#34;</p>
<p>他补充说，开发者之前需要为 自动语音识别、语言理解和文本转语音使用不同的模型。</p>
<p>&#34;统一的语音对语音管道简化了集成，&#34;Nicholson 说。&#34;这对开发者来说很重要，他们会喜欢简化的工作流程。&#34;</p>
<h2>一些挑战</h2>
<p>然而，新的模型也带来了一些挑战。</p>
<p>Nicholson 表示，他在 5G 和家庭 Wi-Fi 上的测试显示，该模型&#34;仍然不是完全实时的。&#34;</p>
<blockquote>
<p>现在，我们至少有迹象表明我们有时在与 AI 交谈。<strong>David Nicholson</strong> The Futurum Group 分析师</p>
</blockquote>
<p>他补充说，延迟会随着时间的推移而改善，甚至可能减轻 AI 语音变得如此真实的怪异感。</p>
<p>&#34;现在，我们至少有迹象表明我们有时在与 AI 交谈，&#34;他说。&#34;一旦延迟减少到足够的程度，事情就会变得可怕。&#34;</p>
<p>这种可怕感来自于人们将难以区分 AI 对话和人类对话 的事实。</p>
<p>许多消费者已经很难区分什么是 AI，什么不是 AI。</p>
<p>&#34;关于语音模仿的监管审查是一个主要的潜在挑战，&#34;Chandrasekaran 说。</p>
<p>根据 OpenAI 的说法，实时 API 具有帮助防止滥用的安全措施。开发者还可以通过 Agents SDK 添加自己的安全防护措施。</p>
<p>Chandrasekaran 补充说，语音对语音模型的另一个挑战是 32k 的上下文窗口。他表示，与竞争对手相比，这个窗口较小，限制了长篇应用或高度依赖记忆的应用。</p>
<p>&#34;32k 的限制支持扩展对话和多模态任务，但限制了非常长的对话或企业文档处理，&#34;他说。</p>
<p>gpt-realtime 模型的输入费用为每百万个令牌 32 美元，输出费用为每百万个令牌 64 美元。OpenAI 还透露，MCP 支持现在在实时 API 中可用。</p>
<p><em>Esther Shittu 是 Informa TechTarget 的新闻撰稿人和播客主持人，专注于人工智能软件和系统。</em></p>

OpenAI

<p>OpenAI 推出了其新的语音到语音模型 gpt-realtime，增强了自然语言和推理能力。该模型支持新的 API 功能，包括模型上下文协议（MCP）和图像输入，使其适用于实时应用，如客户支持和教育。分析师指出其在提高人类表达能力方面的潜力，但也强调了延迟问题和对声音模仿的监管审查等挑战。该模型的定价为每百万个输入令牌 32 美元，输出为 64 美元，并设有防止滥用的安全措施</p>

<p>OpenAI's new speech-to-speech model, designed for more natural speech and reasoning, shows the continual evolution in speech-to-speech technology and the increasing ways AI voice is becoming more indistinguishable from human voice.</p>
<div class="lb-trans"><p>OpenAI 的新语音对语音模型旨在实现更自然的语音和推理，展示了语音对语音技术的持续演变，以及 AI 语音与人类语音之间的差异日益模糊。</p>
</div><p>On Aug. 28, the AI vendor introduced gpt-realtime and new API capabilities, including Model Context Protocol (MCP) server support, image input and phone calling through the Session Initiation Protocol (SIP). SIP is a protocol for initiating, managing and terminating multimedia communication sessions like voice and video calling, instant messaging and gaming over IP networks.</p>
<div class="lb-trans"><p>在 8 月 28 日，这家 AI 供应商推出了 gpt-realtime 和新的 API 功能，包括模型上下文协议（MCP）服务器支持、图像输入和通过会话发起协议（SIP）进行电话呼叫。SIP 是一种用于发起、管理和终止多媒体通信会话的协议，如语音和视频通话、即时消息和 IP 网络上的游戏。</p>
</div><p>OpenAI said the new speech-to-speech gpt-realtime is good at interpreting system messages and developer prompts. This means the model can read disclaimer scripts word-for-word on a support call, switch between languages midsentence or repeat alphanumeric passages back to the user. OpenAI also released two new voices, Cedar and Marin, which are available in Realtime API.</p>
<div class="lb-trans"><p>OpenAI 表示，新的 gpt-realtime 语音对语音 在解释系统消息和开发者提示方面表现良好。这意味着该模型可以逐字读取支持电话中的免责声明脚本，在句子中间切换语言或将字母数字段落重复给用户。OpenAI 还发布了两个新声音，Cedar 和 Marin，这些声音在实时 API 中可用。</p>
</div><p>Image inputs in gpt-realtime also allow users to add images, photos, screenshots and audio or text to Realtime API. OpenAI introduced Realtime API last October and it is now generally available, along with the new speech model.</p>
<div class="lb-trans"><p>gpt-realtime 中的图像输入还允许用户将图像、照片、截图以及音频或文本添加到实时 API 中。OpenAI 在去年十月推出了实时 API，现在已普遍可用，连同新的语音模型。</p>
</div><h2>Some benefits</h2>
<div class="lb-trans"><h2>一些好处</h2>
</div><p>The model is best for applications where natural-sounding voice agents will thrive.</p>
<div class="lb-trans"><p>该模型最适合自然声音的 语音代理 将蓬勃发展。</p>
</div><p>&#34;Gpt-realtime unifies speech recognition, reasoning and speech generation in a single model, eliminating the latency of multimodel pipelines,&#34; said Arun Chandrasekaran, an analyst at Gartner. &#34;This makes it suited for real-time, voice-first applications where fluidity and speed are critical.&#34;</p>
<div class="lb-trans"><p>&#34;gpt-realtime 将语音识别、推理和语音生成统一为一个模型，消除了多模型管道的延迟，&#34;Gartner 的分析师 Arun Chandrasekaran 说。&#34;这使其适合实时、以语音为主的应用程序，在这些应用中流畅性和速度至关重要。&#34;</p>
</div><p>He added that customer support and contact centers will benefit from the expressive multilingual voices. Moreover, the education and healthcare sectors can use them for tutoring or patient engagement.</p>
<div class="lb-trans"><p>他补充说，客户支持和呼叫中心将受益于富有表现力的多语言声音。此外，教育和医疗行业可以利用它们进行辅导或患者互动。</p>
</div><p>Chandrasekaran said the new voices are also beneficial for human expressiveness.</p>
<div class="lb-trans"><p>Chandrasekaran 表示，这些新声音对人类的表现力也有益。</p>
</div><p>&#34;It follows instructions faithfully, with the promise of smoother emotional inflection,&#34; he said.</p>
<div class="lb-trans"><p>&#34;它忠实地遵循指令，承诺更平滑的情感语调，&#34;他说。</p>
</div><p>The new model is a nice evolution from a UX perspective, said David Nicholson, an analyst at The Futurum Group.</p>
<div class="lb-trans"><p>新的模型在用户体验方面是一个不错的演变，The Futurum Group 的分析师 David Nicholson 表示。</p>
</div><p>&#34;Some new voices sound more natural, [which] will delight some and freak others out,&#34; he said. &#34;It is still not the most natural, but the most streamlined 'back end' now.&#34;</p>
<div class="lb-trans"><p>&#34;一些新声音听起来更自然，[这] 会让一些人感到高兴，而让另一些人感到不安，&#34;他说。&#34;它仍然不是最自然的，但现在是最流畅的'后端'。&#34;</p>
</div><p>He added that developers previously needed separate models for automatic speech recognition, language understanding and text-to-speech.</p>
<div class="lb-trans"><p>他补充说，开发者之前需要为 自动语音识别、语言理解和文本转语音使用不同的模型。</p>
</div><p>&#34;The unified speech-to-speech pipeline simplifies integration,&#34; Nicholson said. &#34;That's important for developers who will like the simplified workflow.&#34;</p>
<div class="lb-trans"><p>&#34;统一的语音对语音管道简化了集成，&#34;Nicholson 说。&#34;这对开发者来说很重要，他们会喜欢简化的工作流程。&#34;</p>
</div><h2>Some challenges</h2>
<div class="lb-trans"><h2>一些挑战</h2>
</div><p>The new model, however, comes with some challenges.</p>
<div class="lb-trans"><p>然而，新的模型也带来了一些挑战。</p>
</div><p>For one, Nicholson said that his tests on 5G and home Wi-Fi show that the model is &#34;still not perfectly real time.&#34;</p>
<div class="lb-trans"><p>Nicholson 表示，他在 5G 和家庭 Wi-Fi 上的测试显示，该模型&#34;仍然不是完全实时的。&#34;</p>
</div><blockquote>
<p>Right now, we at least have indications that we are talking to AI at times. <strong>David Nicholson</strong> Analyst, The Futurum Group</p>
</blockquote>
<div class="lb-trans"><blockquote>
<p>现在，我们至少有迹象表明我们有时在与 AI 交谈。<strong>David Nicholson</strong> The Futurum Group 分析师</p>
</blockquote>
</div><p>He added that the delay will improve over time and might even alleviate the eeriness of how real AI speech is getting.</p>
<div class="lb-trans"><p>他补充说，延迟会随着时间的推移而改善，甚至可能减轻 AI 语音变得如此真实的怪异感。</p>
</div><p>&#34;Right now, we at least have indications that we are talking to AI at times,&#34; he said. &#34;Once latency is reduced enough, things get scary.&#34;</p>
<div class="lb-trans"><p>&#34;现在，我们至少有迹象表明我们有时在与 AI 交谈，&#34;他说。&#34;一旦延迟减少到足够的程度，事情就会变得可怕。&#34;</p>
</div><p>The scariness comes from the fact that people will have difficulty distinguishing between an AI conversation and a human conversation.</p>
<div class="lb-trans"><p>这种可怕感来自于人们将难以区分 AI 对话和人类对话 的事实。</p>
</div><p>Many consumers already have a tough time distinguishing between what is AI and what is not AI.</p>
<div class="lb-trans"><p>许多消费者已经很难区分什么是 AI，什么不是 AI。</p>
</div><p>&#34;Regulatory scrutiny around voice impersonation is a major looming challenge,&#34; Chandrasekaran said.</p>
<div class="lb-trans"><p>&#34;关于语音模仿的监管审查是一个主要的潜在挑战，&#34;Chandrasekaran 说。</p>
</div><p>According to OpenAI, Realtime API has safeguards that help prevent misuse. Developers can also add their own safety guardrails with the Agents SDK.</p>
<div class="lb-trans"><p>根据 OpenAI 的说法，实时 API 具有帮助防止滥用的安全措施。开发者还可以通过 Agents SDK 添加自己的安全防护措施。</p>
</div><p>Chandrasekaran added that another challenge with the speech-to-speech model is the 32k context window. He said that compared with rivals, it is small and limits long-form applications or applications that rely heavily on memory.</p>
<div class="lb-trans"><p>Chandrasekaran 补充说，语音对语音模型的另一个挑战是 32k 的上下文窗口。他表示，与竞争对手相比，这个窗口较小，限制了长篇应用或高度依赖记忆的应用。</p>
</div><p>&#34;The 32k limit supports extended conversations and multimodal tasks but restricts very long dialogues or enterprise document processing,&#34; he said.</p>
<div class="lb-trans"><p>&#34;32k 的限制支持扩展对话和多模态任务，但限制了非常长的对话或企业文档处理，&#34;他说。</p>
</div><p>The gpt-realtime model costs $32 per 1 million token input and $64 per 1 million token output. OpenAI also revealed that MCP support is now available in Realtime API.</p>
<div class="lb-trans"><p>gpt-realtime 模型的输入费用为每百万个令牌 32 美元，输出费用为每百万个令牌 64 美元。OpenAI 还透露，MCP 支持现在在实时 API 中可用。</p>
</div><p><em>Esther Shittu is an Informa TechTarget news writer and podcast host covering artificial intelligence software and systems.</em></p>
<div class="lb-trans"><p><em>Esther Shittu 是 Informa TechTarget 的新闻撰稿人和播客主持人，专注于人工智能软件和系统。</em></p>
</div>

OpenAI 的语音模型 gpt-realtime 的潜在影响