<p>OpenAI 的新語音對語音模型旨在實現更自然的語音和推理，展示了語音對語音技術的持續演變，以及 AI 語音與人類語音之間的差異日益模糊。</p>
<p>在 8 月 28 日，這家 AI 供應商推出了 gpt-realtime 和新的 API 功能，包括模型上下文協議（MCP）服務器支持、圖像輸入和通過會話發起協議（SIP）進行電話呼叫。SIP 是一種用於發起、管理和終止多媒體通信會話的協議，如語音和視頻通話、即時消息和 IP 網絡上的遊戲。</p>
<p>OpenAI 表示，新的 gpt-realtime 語音對語音 在解釋系統消息和開發者提示方面表現良好。這意味着該模型可以逐字讀取支持電話中的免責聲明腳本，在句子中間切換語言或將字母數字段落重複給用户。OpenAI 還發布了兩個新聲音，Cedar 和 Marin，這些聲音在實時 API 中可用。</p>
<p>gpt-realtime 中的圖像輸入還允許用户將圖像、照片、截圖以及音頻或文本添加到實時 API 中。OpenAI 在去年十月推出了實時 API，現在已普遍可用，連同新的語音模型。</p>
<h2>一些好處</h2>
<p>該模型最適合自然聲音的 語音代理 將蓬勃發展。</p>
<p>&#34;gpt-realtime 將語音識別、推理和語音生成統一為一個模型，消除了多模型管道的延遲，&#34;Gartner 的分析師 Arun Chandrasekaran 説。&#34;這使其適合實時、以語音為主的應用程序，在這些應用中流暢性和速度至關重要。&#34;</p>
<p>他補充説，客户支持和呼叫中心將受益於富有表現力的多語言聲音。此外，教育和醫療行業可以利用它們進行輔導或患者互動。</p>
<p>Chandrasekaran 表示，這些新聲音對人類的表現力也有益。</p>
<p>&#34;它忠實地遵循指令，承諾更平滑的情感語調，&#34;他説。</p>
<p>新的模型在用户體驗方面是一個不錯的演變，The Futurum Group 的分析師 David Nicholson 表示。</p>
<p>&#34;一些新聲音聽起來更自然，[這] 會讓一些人感到高興，而讓另一些人感到不安，&#34;他説。&#34;它仍然不是最自然的，但現在是最流暢的'後端'。&#34;</p>
<p>他補充説，開發者之前需要為 自動語音識別、語言理解和文本轉語音使用不同的模型。</p>
<p>&#34;統一的語音對語音管道簡化了集成，&#34;Nicholson 説。&#34;這對開發者來説很重要，他們會喜歡簡化的工作流程。&#34;</p>
<h2>一些挑戰</h2>
<p>然而，新的模型也帶來了一些挑戰。</p>
<p>Nicholson 表示，他在 5G 和家庭 Wi-Fi 上的測試顯示，該模型&#34;仍然不是完全實時的。&#34;</p>
<blockquote>
<p>現在，我們至少有跡象表明我們有時在與 AI 交談。<strong>David Nicholson</strong> The Futurum Group 分析師</p>
</blockquote>
<p>他補充説，延遲會隨着時間的推移而改善，甚至可能減輕 AI 語音變得如此真實的怪異感。</p>
<p>&#34;現在，我們至少有跡象表明我們有時在與 AI 交談，&#34;他説。&#34;一旦延遲減少到足夠的程度，事情就會變得可怕。&#34;</p>
<p>這種可怕感來自於人們將難以區分 AI 對話和人類對話 的事實。</p>
<p>許多消費者已經很難區分什麼是 AI，什麼不是 AI。</p>
<p>&#34;關於語音模仿的監管審查是一個主要的潛在挑戰，&#34;Chandrasekaran 説。</p>
<p>根據 OpenAI 的説法，實時 API 具有幫助防止濫用的安全措施。開發者還可以通過 Agents SDK 添加自己的安全防護措施。</p>
<p>Chandrasekaran 補充説，語音對語音模型的另一個挑戰是 32k 的上下文窗口。他表示，與競爭對手相比，這個窗口較小，限制了長篇應用或高度依賴記憶的應用。</p>
<p>&#34;32k 的限制支持擴展對話和多模態任務，但限制了非常長的對話或企業文檔處理，&#34;他説。</p>
<p>gpt-realtime 模型的輸入費用為每百萬個令牌 32 美元，輸出費用為每百萬個令牌 64 美元。OpenAI 還透露，MCP 支持現在在實時 API 中可用。</p>
<p><em>Esther Shittu 是 Informa TechTarget 的新聞撰稿人和播客主持人，專注於人工智能軟件和系統。</em></p>

OpenAI

<p>OpenAI 推出了其新的語音到語音模型 gpt-realtime，增強了自然語言和推理能力。該模型支持新的 API 功能，包括模型上下文協議（MCP）和圖像輸入，使其適用於實時應用，如客户支持和教育。分析師指出其在提高人類表達能力方面的潛力，但也強調了延遲問題和對聲音模仿的監管審查等挑戰。該模型的定價為每百萬個輸入令牌 32 美元，輸出為 64 美元，並設有防止濫用的安全措施</p>

<p>OpenAI's new speech-to-speech model, designed for more natural speech and reasoning, shows the continual evolution in speech-to-speech technology and the increasing ways AI voice is becoming more indistinguishable from human voice.</p>
<div class="lb-trans"><p>OpenAI 的新語音對語音模型旨在實現更自然的語音和推理，展示了語音對語音技術的持續演變，以及 AI 語音與人類語音之間的差異日益模糊。</p>
</div><p>On Aug. 28, the AI vendor introduced gpt-realtime and new API capabilities, including Model Context Protocol (MCP) server support, image input and phone calling through the Session Initiation Protocol (SIP). SIP is a protocol for initiating, managing and terminating multimedia communication sessions like voice and video calling, instant messaging and gaming over IP networks.</p>
<div class="lb-trans"><p>在 8 月 28 日，這家 AI 供應商推出了 gpt-realtime 和新的 API 功能，包括模型上下文協議（MCP）服務器支持、圖像輸入和通過會話發起協議（SIP）進行電話呼叫。SIP 是一種用於發起、管理和終止多媒體通信會話的協議，如語音和視頻通話、即時消息和 IP 網絡上的遊戲。</p>
</div><p>OpenAI said the new speech-to-speech gpt-realtime is good at interpreting system messages and developer prompts. This means the model can read disclaimer scripts word-for-word on a support call, switch between languages midsentence or repeat alphanumeric passages back to the user. OpenAI also released two new voices, Cedar and Marin, which are available in Realtime API.</p>
<div class="lb-trans"><p>OpenAI 表示，新的 gpt-realtime 語音對語音 在解釋系統消息和開發者提示方面表現良好。這意味着該模型可以逐字讀取支持電話中的免責聲明腳本，在句子中間切換語言或將字母數字段落重複給用户。OpenAI 還發布了兩個新聲音，Cedar 和 Marin，這些聲音在實時 API 中可用。</p>
</div><p>Image inputs in gpt-realtime also allow users to add images, photos, screenshots and audio or text to Realtime API. OpenAI introduced Realtime API last October and it is now generally available, along with the new speech model.</p>
<div class="lb-trans"><p>gpt-realtime 中的圖像輸入還允許用户將圖像、照片、截圖以及音頻或文本添加到實時 API 中。OpenAI 在去年十月推出了實時 API，現在已普遍可用，連同新的語音模型。</p>
</div><h2>Some benefits</h2>
<div class="lb-trans"><h2>一些好處</h2>
</div><p>The model is best for applications where natural-sounding voice agents will thrive.</p>
<div class="lb-trans"><p>該模型最適合自然聲音的 語音代理 將蓬勃發展。</p>
</div><p>&#34;Gpt-realtime unifies speech recognition, reasoning and speech generation in a single model, eliminating the latency of multimodel pipelines,&#34; said Arun Chandrasekaran, an analyst at Gartner. &#34;This makes it suited for real-time, voice-first applications where fluidity and speed are critical.&#34;</p>
<div class="lb-trans"><p>&#34;gpt-realtime 將語音識別、推理和語音生成統一為一個模型，消除了多模型管道的延遲，&#34;Gartner 的分析師 Arun Chandrasekaran 説。&#34;這使其適合實時、以語音為主的應用程序，在這些應用中流暢性和速度至關重要。&#34;</p>
</div><p>He added that customer support and contact centers will benefit from the expressive multilingual voices. Moreover, the education and healthcare sectors can use them for tutoring or patient engagement.</p>
<div class="lb-trans"><p>他補充説，客户支持和呼叫中心將受益於富有表現力的多語言聲音。此外，教育和醫療行業可以利用它們進行輔導或患者互動。</p>
</div><p>Chandrasekaran said the new voices are also beneficial for human expressiveness.</p>
<div class="lb-trans"><p>Chandrasekaran 表示，這些新聲音對人類的表現力也有益。</p>
</div><p>&#34;It follows instructions faithfully, with the promise of smoother emotional inflection,&#34; he said.</p>
<div class="lb-trans"><p>&#34;它忠實地遵循指令，承諾更平滑的情感語調，&#34;他説。</p>
</div><p>The new model is a nice evolution from a UX perspective, said David Nicholson, an analyst at The Futurum Group.</p>
<div class="lb-trans"><p>新的模型在用户體驗方面是一個不錯的演變，The Futurum Group 的分析師 David Nicholson 表示。</p>
</div><p>&#34;Some new voices sound more natural, [which] will delight some and freak others out,&#34; he said. &#34;It is still not the most natural, but the most streamlined 'back end' now.&#34;</p>
<div class="lb-trans"><p>&#34;一些新聲音聽起來更自然，[這] 會讓一些人感到高興，而讓另一些人感到不安，&#34;他説。&#34;它仍然不是最自然的，但現在是最流暢的'後端'。&#34;</p>
</div><p>He added that developers previously needed separate models for automatic speech recognition, language understanding and text-to-speech.</p>
<div class="lb-trans"><p>他補充説，開發者之前需要為 自動語音識別、語言理解和文本轉語音使用不同的模型。</p>
</div><p>&#34;The unified speech-to-speech pipeline simplifies integration,&#34; Nicholson said. &#34;That's important for developers who will like the simplified workflow.&#34;</p>
<div class="lb-trans"><p>&#34;統一的語音對語音管道簡化了集成，&#34;Nicholson 説。&#34;這對開發者來説很重要，他們會喜歡簡化的工作流程。&#34;</p>
</div><h2>Some challenges</h2>
<div class="lb-trans"><h2>一些挑戰</h2>
</div><p>The new model, however, comes with some challenges.</p>
<div class="lb-trans"><p>然而，新的模型也帶來了一些挑戰。</p>
</div><p>For one, Nicholson said that his tests on 5G and home Wi-Fi show that the model is &#34;still not perfectly real time.&#34;</p>
<div class="lb-trans"><p>Nicholson 表示，他在 5G 和家庭 Wi-Fi 上的測試顯示，該模型&#34;仍然不是完全實時的。&#34;</p>
</div><blockquote>
<p>Right now, we at least have indications that we are talking to AI at times. <strong>David Nicholson</strong> Analyst, The Futurum Group</p>
</blockquote>
<div class="lb-trans"><blockquote>
<p>現在，我們至少有跡象表明我們有時在與 AI 交談。<strong>David Nicholson</strong> The Futurum Group 分析師</p>
</blockquote>
</div><p>He added that the delay will improve over time and might even alleviate the eeriness of how real AI speech is getting.</p>
<div class="lb-trans"><p>他補充説，延遲會隨着時間的推移而改善，甚至可能減輕 AI 語音變得如此真實的怪異感。</p>
</div><p>&#34;Right now, we at least have indications that we are talking to AI at times,&#34; he said. &#34;Once latency is reduced enough, things get scary.&#34;</p>
<div class="lb-trans"><p>&#34;現在，我們至少有跡象表明我們有時在與 AI 交談，&#34;他説。&#34;一旦延遲減少到足夠的程度，事情就會變得可怕。&#34;</p>
</div><p>The scariness comes from the fact that people will have difficulty distinguishing between an AI conversation and a human conversation.</p>
<div class="lb-trans"><p>這種可怕感來自於人們將難以區分 AI 對話和人類對話 的事實。</p>
</div><p>Many consumers already have a tough time distinguishing between what is AI and what is not AI.</p>
<div class="lb-trans"><p>許多消費者已經很難區分什麼是 AI，什麼不是 AI。</p>
</div><p>&#34;Regulatory scrutiny around voice impersonation is a major looming challenge,&#34; Chandrasekaran said.</p>
<div class="lb-trans"><p>&#34;關於語音模仿的監管審查是一個主要的潛在挑戰，&#34;Chandrasekaran 説。</p>
</div><p>According to OpenAI, Realtime API has safeguards that help prevent misuse. Developers can also add their own safety guardrails with the Agents SDK.</p>
<div class="lb-trans"><p>根據 OpenAI 的説法，實時 API 具有幫助防止濫用的安全措施。開發者還可以通過 Agents SDK 添加自己的安全防護措施。</p>
</div><p>Chandrasekaran added that another challenge with the speech-to-speech model is the 32k context window. He said that compared with rivals, it is small and limits long-form applications or applications that rely heavily on memory.</p>
<div class="lb-trans"><p>Chandrasekaran 補充説，語音對語音模型的另一個挑戰是 32k 的上下文窗口。他表示，與競爭對手相比，這個窗口較小，限制了長篇應用或高度依賴記憶的應用。</p>
</div><p>&#34;The 32k limit supports extended conversations and multimodal tasks but restricts very long dialogues or enterprise document processing,&#34; he said.</p>
<div class="lb-trans"><p>&#34;32k 的限制支持擴展對話和多模態任務，但限制了非常長的對話或企業文檔處理，&#34;他説。</p>
</div><p>The gpt-realtime model costs $32 per 1 million token input and $64 per 1 million token output. OpenAI also revealed that MCP support is now available in Realtime API.</p>
<div class="lb-trans"><p>gpt-realtime 模型的輸入費用為每百萬個令牌 32 美元，輸出費用為每百萬個令牌 64 美元。OpenAI 還透露，MCP 支持現在在實時 API 中可用。</p>
</div><p><em>Esther Shittu is an Informa TechTarget news writer and podcast host covering artificial intelligence software and systems.</em></p>
<div class="lb-trans"><p><em>Esther Shittu 是 Informa TechTarget 的新聞撰稿人和播客主持人，專注於人工智能軟件和系統。</em></p>
</div>

OpenAI 的語音模型 gpt-realtime 的潛在影響