WWDC26 Foundation Models 更新:从单一本地模型到统一抽象
WWDC26 对 Foundation Models 的关键更新,不只是换了一版设备端模型,而是把框架从“调用 Apple 的本地模型”扩展为统一的模型抽象。新的 LanguageModel 协议让 LanguageModelSession 可以面对设备端模型、Private Cloud Compute、Core AI、MLX 或第三方 provider。这些接口来自 Xcode 27 与 iOS 27 beta,均应按预览状态对待。
抽象统一的是会话,不是能力
统一接口可以让 prompt、transcript、tool 和生成配置复用,但不同后端仍有不同能力、延迟、费用、隐私路径与认证方式。应用需要先查询 availability 和 capability,再选择模型;不能假设支持文本的模型必然支持图像、reasoning 或同一套 context option。
把选择写成策略:离线、低延迟和敏感数据优先设备端;需要更强推理时考虑 Private Cloud Compute;组织已批准的第三方模型通过独立 provider adapter 接入。选择结果、模型标识与配置要进入 trace,方便复现。
新的模型路径
设备端系统模型获得更新并加入图像理解。Apple 同时介绍 PrivateCloudComputeLanguageModel,官方 session 说明其 32K context 与可配置 reasoning level。Core AI 和 MLX 则为本地自带模型提供路径。它们不是“质量等价”的几个开关,而是部署与治理选项。
第三方 Swift package 尚需以各 provider 实际发布状态为准。“将推出”不能写成已可安装。认证信息应保存在 Keychain 或服务端,不放进 prompt;计费与服务条款也不会因为使用 Apple 抽象而消失。
图像、系统工具与动态配置
图像可以作为 attachment 进入 prompt,尺寸越大通常占用更多 token 与延迟。新系统工具包括基于 Vision 的 OCR 与条码读取,以及面向本地检索的 Spotlight 工具。工具结果仍需验证,OCR 文本可能错误,条码内容也可能是不可信 URL。
Dynamic Profiles 允许按 Agent 任务组合模型、工具和指令。应把 profile 当成版本化配置,而不是可由用户文本重写的自由对象。高风险工具始终经过应用授权和审批;模型切换不能扩大权限。
评测成为框架的一部分
统一抽象最大的工程价值,是可以对相同任务在多个模型配置上运行评测。数据集应覆盖正常输入、不可用设备、超长上下文、图片失败、工具超时和拒答。分别记录任务质量、首 token 延迟、总耗时、token、能耗或远端费用以及隐私路径。
切换 provider 时,不要只比较最终文字。检查 structured output 是否保持领域约束、工具调用是否仍需相同审批、会话恢复是否一致。统一接口降低接线成本,但语义兼容仍要由测试证明。
beta 迁移策略
在 beta 期间把新代码封装在小型 adapter 后,使用 availability check 与功能开关,保留 iOS 26 的降级路径。不要把 beta 生成格式写入不可迁移的持久数据;保存自己的领域对象和版本。每次 Xcode beta 更新后重新编译,并回放图像、工具和 session 测试。
WWDC26 让 Foundation Models 更像一个模型运行层,而非单一模型的便捷 SDK。这提升了 Swift 应用组合本地、私有云与第三方模型的可能性,也把选择责任推回应用。好的架构不会宣称“模型可随意互换”,而是用能力探测、策略、评测与权限边界,让互换成为可验证的选择。