iOS 18 下周要来了!苹果首发 AI 功能最全 “路透”

华尔街见闻
2024.06.07 16:23
portai
我是 PortAI,我可以总结文章信息。

2024 年被外界定义为苹果的生成式 AI 功能之年,AI 无疑会成为下周全球开发者大会 WWDC 的焦点。目前能确定的是 Siri 将基于人工智能全面改造,语音备忘录实时转换成文字版,对通知、短信、网页、长篇文档的 AI 摘要和自动消息回复,高级照片编辑和特定物体抠除,自定义表情符号等 AI 功能预计都将集体亮相。简而言之,AI 将全面集成进苹果应用中。

本文作者:杜玉

来源:硬 AI

苹果全球开发者大会 WWDC 将由 6 月 10 日美东时间下午 1 点(北京时间 11 日凌晨 1 点)的主旨演讲拉开序幕。外界普遍将其定义为苹果把 AI 功能全面整合进各大硬件操作系统的关键时刻。

WWDC 历来是以软件为中心的发布活动,去年推出 Vision Pro 苹果首款混合现实头显设备而成为例外。分析称,今年苹果或专注于宣传软件功能的 AI 更新来追赶竞争对手,例如将人工智能添加到表情符号 emoji、照片编辑、短信和电子邮件中,而不会宣布任何真正具有革命性的东西。

预计下周将发布新一代 iOS 18 手机操作系统和 macOS 15 电脑操作系统的更新,智能手表、iPad 平板电脑和 Vision Pro 混合现实头显的操作系统应该也会融入更多 AI 功能,例如可以在苹果手表使用虚拟助手 Siri 在其他设备上播放音乐等。

还有分析称,iPad 和 iPhone 上的眼动追踪以及 VisionOS 上的实时字幕功能已经官宣,下周可能听到更多有关这些与无障碍功能相关的更新以及确切发布时间。

AI助力 “更智能的 Siri”,但更复杂功能可能明年才推出

在最有可能基于人工智能而大力增强的功能中,首当其冲的便是苹果虚拟助手 Siri。

据信苹果正在全面重建一个能够由大语言模型提供支持的 Siri,这些大语言模型可能会由苹果自研的端侧 AI Ajax LLM 和微软支持的 OpenAI ChatGPT 技术相结合而成。

但利用人工智能对 Siri 改头换面的任务规模巨大,可能要到明年某个时候才能全面推出,下周在 iOS 18 最新手机操作系统中可能仅会发布一个初始版本,拥有一些基本 AI 功能。

例如,Siri处理多步骤任务的能力或推迟到明年发布,今年 9 月 iOS 18 中的新版 Siri 可能每次只能处理一条语音指令。苹果最终的计划是令 Siri 允许用户一次性输入多个指令,例如利用 AI 总结会议录音、或智能剪裁修饰完照片后,再马上用邮件发送给相关人士。

重建后,除了完成多步骤任务的能力,AI 助力下 “更智能的 Siri” 预计还将实现以下功能:

更智能地理解用户需求,利用 AI 分析用户在设备上的操作,并自动启用由 Siri 控制的功能;

用语音回答用户提问,而不是显示网络链接,而且声音听上去更自然;

为短信提供基于端侧大语言模型生成的自动回复建议,并用 AI 生成自定义表情符号 emoji;

了解用户的联系人、约会日程、方位等,以便作出更智能的响应;

能将语音备忘录实时转写成文字版,能够总结通知、短信、网页、长篇文档等所有内容;

能够与其他应用程序交互,例如用户可以要求 “将这篇笔记 Note 移动到我的新主文件夹”,或者打开 Apple News 应用中的特定出版物;

通过语音控制应用程序内的单个功能,例如可以要求 Siri 执行删除电子邮件、通过电子邮件发送网络连接,或智能编辑照片等高级操作;

使用人工智能自动确定某项功能在端侧 AI 还是云端服务器处理,更好地保护用户数据隐私。

有分析称,苹果将评级新版 Siri 正式进入 AI 时代。

还有两个 “板上钉钉” 会推出的 AI功能:照片与短信

第二个被众多媒体确信会发布的 AI 功能是新版照片编辑器。

除了智能剪裁、调整大小、旋转、翻转、为照片添加滤镜之外,AI 还能帮助识别和编辑特定照片元素,例如人像的眼睛、头发和衣服,并仿照谷歌 “魔法橡皮擦” 推出 iPhone 版的生成式 AI“清理” 功能,允许用户从照片中删除不想要的人和物体,而且可能通过语音控制 Siri 即可操作。

此前还有报道称,苹果制作了一款名为 Generative Playground(生成式游乐场)的公司内部应用程序,使用生成式人工智能来创建和编辑图像,但尚不清楚该功能将如何呈现给终端用户,有可能是集成到 iMessage 短信应用中一起推出。

第三个马上要被 AI 增强的应用领域据信是 iMessage 短信。

一个突出功能是将生成式 AI 引入表情符号 emoji,可以根据用户发送的短信内容即时创建自定义表情符号。在目前为整体短信创造特效之外,还将支持单个词汇的动画特效。

苹果还将提供被错过短信的 AI 总结综述,今年 iPhone 可能支持 RCS 短信,即用 “富通信服务” 来取代 SMS(短信息服务)协议,更方便与安卓手机之间的短信联系。RCS 协议将支持许多与 iMessage 相同的功能,包括输入指示器、高分辨率视频与图像等媒体共享,以及端到端加密。

其他 AI功能报道笼统,但趋势是 AI全面集成进 iPhone应用

其他不太确定是否会马上发布,但据称苹果也在研发的 AI 功能还包括:

更智能的 Spotlight 搜索,除了令结果更快和更可靠,还能深入挖掘应用程序内的相关内容并汇总,例如用户可以要求 “给我看看我存在手机上的所有奶酪食谱” 等;

Xcode 中的 AI 辅助编程,以及苹果 Keynote 和 Pages 等生产力应用程序可能获得生成式 AI 功能;

由人工智能结合智能手表数据驱动的健康与健身指导,目标是 “激励用户锻炼,改善饮食习惯,帮助睡眠更好”,为用户提供改变生活方式和改善整体健康状况的建议;

去年底推出的日志应用(Journal)得到人工智能增强,AI 可用来分析日志的措辞以检测用户情绪;

笔记应用(Notes)可由 AI 复述内容、提供摘要,并实时将音频转换成文字,还将支持应用内录音;

数学笔记(Math Notes)可通过识别数学方程式的文本,帮助用户解题和通过 AI 创建图表,Notes 用户还能选择在输入时自动补全数学方程式;

iPhone 端侧大语言模型可与日历应用(Calendar)交互,在撰写短信回复时融合待办事项;

短信、邮件都获得由端侧大语言模型提供的自动回复建议;

设置功能(Settings)界面改进,以便改善搜索和更好地组织内容结构;

控制中心(control center)和通知(notification)功能都通过 AI 增强;

Apple Music 可能会利用自研人工智能自动生成音乐播放列表,与 Spotify 展开竞争等。

还应关注:四大非 AI更新和新型芯片触发换机周期

除了即将出尽风头的 AI 功能之外,iOS 18 操作系统预计还将发布以下四大新改变,包括主屏幕自定义应用图标排列、应用图标设计更改等:

1、将应用程序图标放置在手机主屏幕的任意位置,而非固定网格对齐,将是 iPhone 历史上首次。

2、自定义应用图标设计,将首次允许用户在系统范围内更改应用程序图标的颜色,例如可将所有社交媒体 app 图标设定为蓝色,将所有与金融相关 app 的图标设为绿色。

3、苹果地图新增对创建自定义路线的支持,用户可设计特定路线而非依赖地图应用的推荐。

4、更方便自定义控制中心界面,包括音乐播放器的展示区域和对 HomeKit 智能家居的集成。

此外,下周的 WWDC很可能会提到搭载人工智能的新型芯片,下一代 iPhone 处理器可能会称为 A18,带来更好的 AI 性能,与升级版 iPad Pro 平板电脑中采用的新款 M4 芯片保持一致。

苹果认为,iPhone、iPad 和 Mac 的最新 AI 功能以及 Siri 增强功能将鼓励用户升级设备,许多端侧 AI 功能需要 iPhone 15 Pro 或更高版本才能运行,而 Mac 和 iPad 则至少需要 M1 芯片。

苹果股价周一涨近 1%,年内重新转为累涨。