Copilot 功能大礼包！微软让个人 AI 助手进入团队，GPT-4o 现已助力 Azure，浏览器视频实时翻译

自本文作者：李丹

来源：硬 AI

宣布推出 Copilot 全面融入 Windows 系统的Windows 11 AI PC一天后，微软又送上了 Copilot 的多种功能 “大礼包”，进一步推动先进的人工智能（AI）助手与微软的业务及其合作伙伴结合。

美东时间 5 月 21 日周二开幕的年度 Build 开发者大会上，微软 CEO Satya Nadella 开场先提到微软几十年来有两大梦想：一是能不能让电脑理解人类，而不是人类被迫理解电脑，二是在信息日益增加的世界，电脑能不能帮助人类推理、规划以及更有效地运用所有的信息。他认为，现在这波 AI 浪潮能为微软找到实现这两大梦想的答案。

随后，Nadella 聚焦 Copilot。他提到了包含随时可用本地 API 的 Copilot 库 Windows Copilot Library，称有 40 多种端侧 AI 模型 “开箱即用”，展示了将 Copilot 全面融入个人电脑（PC）的新型 PC Copilot+ PC 如何与 AI 应用程序（App）密切结合。

周一微软介绍过 Windows Copilot Runtime 中包含超过 40 个 AI 模型。周二 Nadella 将 Windows Copilot Runtime 类比为重磅 Windows API Win32，因为它让开发者更容易利用 AI 打造自己的 Windows App。

Azure AI 现已结合 GPT-4o Azure 将率先使用英伟达 Blackwell AI 芯片

接着 Nadella 提到 AI 基础设施。他表示，微软拥有 “世界上最全面的人工智能基础设施”，有望在 2025 年以前实现数据中心 100% 由可再生能源供电，微软云计算 Azure 的 AI 服务落地国家数量已增加三倍。

他说，微软将成为首批提供英伟达最新 Blackwell AI 芯片的云服务商之一，与英伟达建立了 “深厚的合作伙伴关系”。

Nadella 称，如今，已有超过 5 万家组织使用 Azure AI。借助 Azure AI，微软提供最广泛的前沿和开源模型选择，包括大语言模型（ LLM）和小语言模型（ SLM）。

周一微软称，OpenAI 上周最新发布的旗舰模型 GPT-4o 将很快可以加持 Copilot。周二微软宣布，集成文本、图像和音频处理的多模态模型 GPT-4o 现可在 Azure AI Studio 中使用，也可作为 API 使用。

Nadella 在开发者大会现场透露，GPT-4o 已经结合到 Azure AI，称 OpenAI 上周的 GPT-4o 演示 “非常神奇”，OpenAI 是微软 “最具战略意义、以及最重要的合作伙伴”。

微软称，在 OpenAI 官宣 GPT-4o 的同一天，微软就在 Azure OpenAI 服务上开放了该模型供测试，本周二微软就宣布获得 GPT-4o 的完整 API 访问权限。

在社交媒体 X，一些网友对此感到兴奋，一个高点赞评论称，这是全新的世界，向 Copilot 问好。

有网友呼吁，展示用于编写 Python 代码等原生 App，想要说话和编码/复制聊天等内容能同时进行，而且不需要特意下什么命令或者按什么按键，就像有人和你待在同一个房间一样。

Azure AI 可用文图小模型 Phi-3-vision OPPO 新手机正测试 Azure AI 文本语言互转技术

微软开发的 AI SLM Phi-3 系列周二发布了一款新的多模态小模型 Phi-3-vision，它可在 Azure 中使用。

微软介绍，Phi-3 模型功能强大、经济实惠，并针对个人设备进行了优化。Phi-3-vision 有 42 亿参数，能够输入图像和文本，并接收文本回复。例如，用户可以就图表提出问题，或就特定图像提出开放式问题。

微软还透露，中国手机厂商 OPPO 正在其新款智能手机上试点 Azure AI 的语音转文本、快速转录和 Azure AI 文本转语音技术。

Team Copilot 将个人助手变身团队会议主持人、聊天协作者、项目经理

微软推出多种 Copilot 的 AI 功能扩展。周二公布的一大扩展功能是 Team Copilot。

作为 Copilot 系列生成式 AI 技术的最新扩展，Team Copilot 将 Copilot for Microsoft 365 从幕后的个人 AI 助手，扩展为团队新的重要成员。您将能够在 Teams、Loop、Planner 等协作工具中调用 Copilot。

Team Copilot 能够在会议中担任会议主持人，管理会议议程、跟踪会议时间并记录会议要点；也可以在聊天中作为协作者，提供重要信息、跟踪行动项目并解决未决问题。它还可以担任项目经理，帮助确保每个项目顺利推进，并及时通知团队进行输入。这些初始体验将在今年晚些时候推出预览版。

社交媒体 X 的一条评论称，Copilot 的扩展看起来很有趣，微软预览了一些明显从 ChatGPT 复制过来的功能：Builder UI、自定义函数、GPT Mentions。

Copilot Studio 升级 用户可定制 AI 代理

微软 Copilot Studio 升级，推出全新的 Agent 代理功能，让开发者能够根据特定任务和功能，构建主动响应数据和事件的 Copilot。

基于这类新功能的 Copilot 通过记忆和知识了解上下文、推理操作和输入，基于用户反馈进行学习，并在不知道如何处理时寻求帮助，从而独立管理复杂、长期运行的业务流程。

从 IT 设备采购到销售和服务的客户接待，用户都可以让基于 Copilot Studio 构建的 Copilot 为其工作。在部署前，用户可以先测试自己设计的 Copilot AI 代理，然后在多个渠道使用该代理。

GitHub Copilot 扩展定制 Copilot 体验

作为微软生成式 AI 的首批重大运用，GitHub Copilot 目前拥有 180 万付费用户。GitHub 本周二推出首套由微软和第三方合作伙伴开发的 GitHub Copilot 扩展，现已开启受邀预览。

GitHub Copilot 扩展用于打造智能的第三方生态系统。它的新增功能允许开发者、企业通过其偏好的诸如 Azure、Docker、Sentry 等服务，直接在 GitHub Copilot Chat 中定制其 GitHub Copilot 体验。

GitHub Copilot for Azure 展示了如何利用自然语言和更广泛的功能来提高开发速度。通过 Copilot Chat 使用该扩展，开发者可以探索和管理 Azure 资源，同时排除故障、查找相关日志和代码。

Edge 观看 YouTube、彭博等网站视频可实时英翻德意西印地四语种

微软周二宣布了一项浏览器的新 AI 功能，让用户您观看视频时可以通过配音和字幕实时获得翻译内容。微软的 Edge 浏览器将 “很快” 在 YouTube、LinkedIn、Coursera 等网站上提供实时视频翻译功能。

该功能将支持西班牙语翻译成英语，以及将英语翻译成德语、印地语、意大利语、俄语和西班牙语。Edge 还将支持路透社、CNBC 和彭博社等新闻网站视频的实时翻译。微软计划未来增加更多语种翻译以及扩大支持的网站范围。

媒体评论称，除了提供一种将视频翻译成用户母语的简洁方法外，Edge 的新 AI 功能应该还会让失聪或有听力障碍的用户更容易观看视频。

有网友评论称，这种视频实时翻译的功能如果推出，绝对值得关注。问题是，翻译的准确性和流畅性如何，如何保留原说话者的口气和语调。

首款基于 Arm Azure Cobalt 虚拟机预览版 正式发布 Azure ND MI300X v5 虚拟机

去年 11 月，微软发布了首款自研 AI 芯片 Azure Maia 100 和首款自研云处理器 Azure Cobalt 100。本周二微软宣布，在 Azure Cobalt 100 的基础上，推出基于 Arm 架构定制的 Cobalt 100 虚拟机（VM）预览版。它是第一代采用微软新 Cobalt 处理器的虚拟机，对运行通用工作负载和云原生工作负载时的效率和性能进行了优化。

Nadella 介绍，相比同类型 Azure 虚拟机，基于 Arm 的 Cobalt 100 虚拟机性能可提升多达 40%，它是微软 Azure 推出的功效最高计算产品。

微软 Azure 硬件系统及基础设施负责人 Rani Borkar 也告诉媒体，其初步测试显示， Azure Cobalt 的性能比目前其数据中心所用所用商用 Arm 服务器的性能高多达 40%。媒体称，微软目前正在 Microsoft Teams 和 SQL Server 等工作负载上测试 Cobalt CPU，计划明年向客户提供处理各种工作负载的虚拟机。

Maia 100 目前正在 GPT 3.5 Turbo 上进行测试， GPT 3.5 同样是支持 ChatGPT、Bing AI 工作负载和 GitHub Copilot 的模型。与 Cobalt CPU 类似，微软目前对 Maia 100 处于部署的早期阶段，并未披露其具体规格和性能表现。

微软是首家将 AMD 的 MI300X AI 加速器芯片用于客户 AI 训练和 AI 推理的云服务商。本周二微软宣布，Azure ND MI300X v5 虚拟机系列已正式发布，针对高需求 AI，以及诸如 Azure OpenAI Service 的高性能计算（HPC）工作负载进行了优化。

数据分析平台 Microsoft Fabric 推出实时智能

微软的 AI 支持数据分析平台 Microsoft Fabric 也有新功能发布。该平台的用户可以利用实时智能（Real-Time Intelligence）进行即时决策，提供了端到端的软件即服务（SaaS）解决方案，让客户能够对海量的、时间敏感的高颗粒度数据采取行动，更快、更明智地制定业务决策。

实时智能现已开启预览，它不仅帮助数据分析人员获得简单的低代码/无代码体验，也通过代码丰富的用户界面让专业开发者受益。

Microsoft Fabric 推出工作负载开发套件，让独立软件供应商（ISV）和开发者能够在 Fabric 中扩展应用程序，打造统一的用户体验。

微软携手可汗学院 免费为美国中小学教师提供 AI 助手 Khanmigo

周二，微软和可汗学院（Khan Academy）宣布达成多元合作伙伴关系，旨在将 AI 的变革潜力转化为现实。

合作伊始，微软将协助可汗学院为美国所有相当于国内中小学教育的 K-12 教育者免费提供 Khanmigo for Teachers。这款 AI 驱动的教育助手能够释放教师时间，让他们专注于最重要的事情——与学生互动并提供支持。微软还将捐赠 Azure AI 优化的基础架构权限，提升 Khanmigo for Teachers 的可用性。该服务将由 Azure OpenAI Service 提供支持。

可汗学院还将与微软携手，借助微软开发的 SLM 系列 Phi-3 最新版，探索以经济实惠、可扩展、适应性强的方式改进数学辅导。他们还计划将更多可汗学院的教学内容引入 Copilot 和 Microsoft Teams 教育版，为学习者提供更多资源。