<p>OpenAI 推出了一套新的音频模型，支持特定企业环境中的语音代理，例如客户服务。</p>
<p>这些模型包括 OpenAI 的实时 API 中的 语音转文本 和文本转语音音频模型。</p>
<p>该人工智能供应商还推出了 gpt-4o-transcribe 和 gpt-4o-mini-transcribe。OpenAI 表示，gpt-4o-transcribe 在词错误率表现上优于 OpenAI 的开源语音转文本模型。</p>
<p>这些新模型捕捉了语音的细微差别，减少了误识别，并提高了转录的真实感。</p>
<p>OpenAI 还推出了 gpt-4o-mini TTS，这是一种文本转语音模型，允许开发者 “指示” 模型说什么以及如何说。</p>
<p>这些模型基于 GPT-4o 和 GPT-4o-mini 架构。</p>
<h2>语调和受众</h2>
<p>根据 OpenAI 的说法，开发者可以指示模型以特定方式发声。例如，用户可以告诉模型像 “同情的客户服务代理” 那样说话。</p>
<p>Gartner 分析师 Arun Chandrasekaran 表示，这些新的音频模型针对 OpenAI 的消费者受众和一小部分企业市场。</p>
<p>许多消费者使用 ChatGPT，因此这些受众会对音频 API 中引入的一些语调感兴趣，例如中世纪骑士、真实犯罪爱好者和睡前故事。</p>
<p>与此同时，像专业和冷静这样的语调将在处理愤怒客户的客户服务环境中非常有用，Chandrasekaran 表示。</p>
<p>他说：“客户服务是我们开始看到的增长最快的企业用例之一，我并不感到惊讶的是所有这些公司都在努力朝着有利可图的方向发展。”</p>
<p>Forrester Research 分析师 William McKeon-White 表示，这些新模型将减少处理每次互动所需的人类代理数量，并允许更多自动化的 互动语音响应系统。</p>
<p>他说：“我们实际上已经看到这些模型上线，与其他二级消费者合作，这些消费者本身就是供应商。他们已经在这些能力上取得了强劲的成功。”</p>
<p>McKeon-White 表示，用户应该能够从 OpenAI 的语音模型中受益，因为该供应商提供的自动化和交付水平。</p>
<p>他说：“OpenAI 现在提供的这一点对许多看到不同模型的企业来说是相当有帮助的。”</p>
<p>OpenAI 对新模型错误率的分析显示，这些模型在法语和西班牙语等广泛使用的语言中有效。</p>
<h2>一些挑战</h2>
<p>然而，McKeon-White 表示，看看这些模型如何处理缩略词将是很好的，因为语音模型在处理缩略词时会遇到挑战。</p>
<p>此外，由于客户服务应用的竞争激烈，OpenAI 面临一些挑战。</p>
<p>其中之一是该供应商与从狭义角度看待客户服务的供应商竞争。例如，Sierra AI 是一家专注于客户服务的人工智能初创公司。</p>
<p>Chandrasekaran 表示，这与 OpenAI 不同，后者有多个模型和多个应用。</p>
<p>另一个挑战是许多 联络中心供应商，如 Genesys 已经将人工智能技术嵌入到他们的产品中。</p>
<p>Chandrasekaran 继续说道：“他们都开始将人工智能嵌入其中，当然也与 OpenAI 的做法形成竞争。”</p>
<p>此外，虽然 API 对希望构建应用程序的团队很有帮助，但对没有团队的人则没有益处，McKeon-White 表示。</p>
<p>他说：“我们与大多数组织交谈时，他们并不准备直接消费原始 API 来构建全新的系统。它需要业务逻辑，需要业务理解，还需要业务集成才能使一切正常运作。”</p>
<p><em>Esther Shittu 是 Informa TechTarget 的新闻撰稿人和播客主持人，专注于人工智能软件和系统。</em></p>

OpenAI

<p>OpenAI 推出了新的音频模型，旨在通过语音代理增强客户服务。这些模型包括语音转文本和文本转语音功能，专为企业使用而设计，允许开发者自定义语音语调。分析师指出，这些创新可能减少对人工代理的需求，并改善客户互动中的自动化。然而，OpenAI 面临来自专业 AI 供应商和现有呼叫中心解决方案的竞争。在处理特定语音细微差别（如缩略词）以及在有效利用这些 API 时需要进行业务整合方面，仍然存在挑战</p>

<p>OpenAI introduced a new suite of audio models that power voice agents in specific enterprise settings, such as customer service.</p>
<div class="lb-trans"><p>OpenAI 推出了一套新的音频模型，支持特定企业环境中的语音代理，例如客户服务。</p>
</div><p>The models include speech-to-text and text-to-speech audio models in OpenAI’s Realtime API.</p>
<div class="lb-trans"><p>这些模型包括 OpenAI 的实时 API 中的 语音转文本 和文本转语音音频模型。</p>
</div><p>The AI vendor also introduced gpt-4o-transcribe and gpt-4o-mini-transcribe. Gpt-4o-transcribe has an improved word error rate performance over OpenAI's open source speech-to-text model OpenAI said.</p>
<div class="lb-trans"><p>该人工智能供应商还推出了 gpt-4o-transcribe 和 gpt-4o-mini-transcribe。OpenAI 表示，gpt-4o-transcribe 在词错误率表现上优于 OpenAI 的开源语音转文本模型。</p>
</div><p>The new models capture nuances of speech, reduce misrecognitions and increase transcription reality.</p>
<div class="lb-trans"><p>这些新模型捕捉了语音的细微差别，减少了误识别，并提高了转录的真实感。</p>
</div><p>OpenAI also introduced gpt-4o-mini TTS, a text-to-speech model that allows developers to &#34;instruct&#34; the model on what to say and how.</p>
<div class="lb-trans"><p>OpenAI 还推出了 gpt-4o-mini TTS，这是一种文本转语音模型，允许开发者 “指示” 模型说什么以及如何说。</p>
</div><p>The models build on GPT-4o and GPT-4o-mini architectures.</p>
<div class="lb-trans"><p>这些模型基于 GPT-4o 和 GPT-4o-mini 架构。</p>
</div><h2>Tone and audience</h2>
<div class="lb-trans"><h2>语调和受众</h2>
</div><p>According to OpenAI, developers can instruct the models to speak in a specific way. For example, users can tell the models to speak like a &#34;sympathetic customer service agent. &#34;</p>
<div class="lb-trans"><p>根据 OpenAI 的说法，开发者可以指示模型以特定方式发声。例如，用户可以告诉模型像 “同情的客户服务代理” 那样说话。</p>
</div><p>The new audio models target both OpenAI's consumer audience and a small portion of the enterprise market, said Gartner analyst Arun Chandrasekaran.</p>
<div class="lb-trans"><p>Gartner 分析师 Arun Chandrasekaran 表示，这些新的音频模型针对 OpenAI 的消费者受众和一小部分企业市场。</p>
</div><p>Many consumers use ChatGPT, so those audiences would be interested in some of the tones introduced in the audio API, such as Medieval Knight, True Crime Buff and Bedtime Story, he said.</p>
<div class="lb-trans"><p>许多消费者使用 ChatGPT，因此这些受众会对音频 API 中引入的一些语调感兴趣，例如中世纪骑士、真实犯罪爱好者和睡前故事。</p>
</div><p>At the same time, tones like Professional and Calm will be useful in customer service settings in which the agent is dealing with an angry customer, Chandrasekaran said.</p>
<div class="lb-trans"><p>与此同时，像专业和冷静这样的语调将在处理愤怒客户的客户服务环境中非常有用，Chandrasekaran 表示。</p>
</div><p>&#34;Customer service is one of the fastest growing use cases we are starting to see in the enterprise, and I'm not very surprised that all of these companies are trying to gravitate toward where the money is,&#34; he said.</p>
<div class="lb-trans"><p>他说：“客户服务是我们开始看到的增长最快的企业用例之一，我并不感到惊讶的是所有这些公司都在努力朝着有利可图的方向发展。”</p>
</div><p>The new models will reduce the number of human agents needed to handle every interaction and allow for more automated interactive voice response  systems, said Forrester Research analyst William McKeon-White.</p>
<div class="lb-trans"><p>Forrester Research 分析师 William McKeon-White 表示，这些新模型将减少处理每次互动所需的人类代理数量，并允许更多自动化的 互动语音响应系统。</p>
</div><p>&#34;We've been seeing these already actually coming online, working with several other second-order consumers of these services who are vendors themselves,&#34; he said. &#34;They've already been seeing strong successes with these capabilities.&#34;</p>
<div class="lb-trans"><p>他说：“我们实际上已经看到这些模型上线，与其他二级消费者合作，这些消费者本身就是供应商。他们已经在这些能力上取得了强劲的成功。”</p>
</div><p>McKeon-White said users should benefit from OpenAI's voice models because of the level of automation and delivery that the vendor provides.</p>
<div class="lb-trans"><p>McKeon-White 表示，用户应该能够从 OpenAI 的语音模型中受益，因为该供应商提供的自动化和交付水平。</p>
</div><p>&#34;The fact that it's just natively part of what open AI is providing now is quite helpful to a lot of enterprises who are seeing a lot of different models at this point,&#34; he said.</p>
<div class="lb-trans"><p>他说：“OpenAI 现在提供的这一点对许多看到不同模型的企业来说是相当有帮助的。”</p>
</div><p>OpenAI's breakdown of the error rate of the new models shows that the models are effective across widely used languages like French and Spanish.</p>
<div class="lb-trans"><p>OpenAI 对新模型错误率的分析显示，这些模型在法语和西班牙语等广泛使用的语言中有效。</p>
</div><h2>Some challenges</h2>
<div class="lb-trans"><h2>一些挑战</h2>
</div><p>However, McKeon-White said it would be good to see how well the models handle acronyms since speech models find them challenging.</p>
<div class="lb-trans"><p>然而，McKeon-White 表示，看看这些模型如何处理缩略词将是很好的，因为语音模型在处理缩略词时会遇到挑战。</p>
</div><p>Moreover, because of the competitiveness of customer service applications, OpenAI faces some challenges.</p>
<div class="lb-trans"><p>此外，由于客户服务应用的竞争激烈，OpenAI 面临一些挑战。</p>
</div><p>One is that the vendor competes with vendors that approach customer service from a narrow perspective. For example, Sierra AI is an AI startup that focuses solely on customer service.</p>
<div class="lb-trans"><p>其中之一是该供应商与从狭义角度看待客户服务的供应商竞争。例如，Sierra AI 是一家专注于客户服务的人工智能初创公司。</p>
</div><p>Chandrasekaran said this differs from OpenAI, which has multiple models and multiple applications for its models.</p>
<div class="lb-trans"><p>Chandrasekaran 表示，这与 OpenAI 不同，后者有多个模型和多个应用。</p>
</div><p>Another challenge is that many contact center vendors such as Genesys are already embedding AI technology into their products.</p>
<div class="lb-trans"><p>另一个挑战是许多 联络中心供应商，如 Genesys 已经将人工智能技术嵌入到他们的产品中。</p>
</div><p>&#34;They're all starting to embed AI into it and, of course, are competitive to what OpenAI is doing,&#34; Chandrasekaran continued.</p>
<div class="lb-trans"><p>Chandrasekaran 继续说道：“他们都开始将人工智能嵌入其中，当然也与 OpenAI 的做法形成竞争。”</p>
</div><p>Moreover, while the APIs are helpful for teams looking to build applications, they are not beneficial for those without teams, McKeon-White said.</p>
<div class="lb-trans"><p>此外，虽然 API 对希望构建应用程序的团队很有帮助，但对没有团队的人则没有益处，McKeon-White 表示。</p>
</div><p>&#34;Most organizations we talk with are not ready just to go consume raw APIs to go and build out a net new system,&#34; he said. &#34;It needs business logic, it needs business understanding, and it needs like business integrations to make everything work.&#34;</p>
<div class="lb-trans"><p>他说：“我们与大多数组织交谈时，他们并不准备直接消费原始 API 来构建全新的系统。它需要业务逻辑，需要业务理解，还需要业务集成才能使一切正常运作。”</p>
</div><p><em>Esther Shittu is an Informa TechTarget news writer and podcast host covering artificial intelligence software and systems.</em></p>
<div class="lb-trans"><p><em>Esther Shittu 是 Informa TechTarget 的新闻撰稿人和播客主持人，专注于人工智能软件和系统。</em></p>
</div>

OpenAI 推出新音频模型，瞄准客户服务领域