iOS 13:增强现实的一切新功能
苹果增强现实计划的最终目标目前还是一个谜,特别是考虑到最近的DigiTimes 谣言声称苹果解散了该团队负责其AR头戴式显示器。这一传言与分析师郭明池早些时候的一份报告相悖,该报告称我们最早将于明年看到某种苹果 AR 耳机。
不过,毫无疑问,苹果仍然以我们在其他竞争对手中找不到的热情来支持增强现实,而新的 ARKit 3(以及 iOS 13 和 iPadOS 13)的进步感觉就像是一个巨大的飞跃。事实上,这一飞跃是如此之大,以至于许多功能只能在运行 A12 或更高芯片的 iPhone 或 iPad 上使用。 (就此而言,这一进展强烈表明苹果正在设计一款耳机或眼镜,让这些功能大放异彩,但无论如何。)
略微的缺点是,当前的手机只能将这项技术与与 iPhone 后置摄像头相关的机器学习技术结合使用,因此您并不总能从前置摄像头的 TrueDepth 传感器中获得预期的流畅捕捉效果。不过,正如我们所希望的那样,据传苹果将包括 VCSEL 时间即将推出的 iPhone 后置摄像头上将配备飞行传感器,但我们可能要到 2020 年才能看到它们。所以也许我们很快就不会拥有眼镜,但至少 iPhone 和 iPad 可能会更好。
从更近期的角度来看,一旦 iOS 13 和 iPadOS 13 今年秋季晚些时候发布,您可以在 Apple 最新设备中期待以下功能。
人物遮挡
理解遮挡如何工作的一个简单方法是想象日食。当月亮经过太阳前面时,它会遮挡太阳。在 AR 术语中,这意味着您在《Pokémon Go》的 AR 视图中找到的 Pokémon 可能看起来站在椅子和其他家具后面。由于 iOS 目前支持 ARKit 2,因此只有当神奇宝贝”坐在”平坦的空间上时,”现实”的幻觉才会起作用。
不过,ARKit 3 可以”读懂”地板,并计算出数字对象相对于现实世界中的人的位置。苹果通过一个女人走过客厅的镜头展示了这是如何运作的(赢得了热烈的掌声),客厅里散落着巨大的数字棋子和一个玩具士兵。主题演讲结束后,苹果公司让参观者观看了一场游戏,游戏中两名挥舞着 iPad 的玩家试图将一个巨大的数字球划向”球场”尽头的巨大保龄球瓶。
遮挡还可以实现”绿屏”效果,就像现代电影中的特效一样。
动作捕捉
ARKit 3 支持实时身体跟踪,这意味着它能够研究人的关节运动并用动画头像模仿它们。这是一个看起来很有趣的功能,我认为改进的未来版本可以允许像全身拟我表情这样的功能。苹果只给了这个功能几秒钟的时间,但它最终可能会成为最有影响力的。
“与自己共舞”的新演绎。
但它需要一些改进。就连苹果在 WWDC 上的演示也展示了一个带有轻微断断续续的动画的头像。我毫不怀疑,一旦 iPhone 的后置摄像头配备了适当的飞行时间传感器,iOS 运动跟踪将会得到改善。
协作会议
正如我们所知,增强现实在很大程度上是一种单独的体验(至少在 iPhone 上),但 ARKit 3 通过引入协作会话来改变这种体验,让人们在同一个 AR 空间中玩耍(或工作)。
在 WWDC 上,Mojang 的两名代表通过共同建造一座城堡展示了如何在即将推出的Minecraft Earth中发挥作用。该演示也是展示 ARKit 3 其他功能在实践中如何工作的好方法,例如开发人员通过走在数字花朵后面来说明遮挡。
同时使用前后置摄像头
ARKit 3 现在允许开发人员同时使用前置和后置摄像头跟踪您的周围环境。我还没有机会看到这个功能的实际应用,但听起来这对 iPhone 的电池来说绝对是毁灭性的。
实际上,此功能将允许 iOS 用户使用他们的面部与后置摄像头映射的数字对象进行交互,这可能会导致游戏中其他角色对你的面部表情做出反应。 (听起来它也会成为一个很棒的辅助功能。)
跟踪多个面孔
Apple 的 TrueDepth 传感器在用于一张面孔时已经令人印象深刻,但 ARKit 3 允许您的 iPhone 或 iPad 同时跟踪最多三张面孔。这是一个很酷的功能,尽管听起来好像使用它需要三个人紧密合作。也许这对于一些基于 Memoji 的歌唱课程会有好处?
此功能仅适用于至少配备 A12 芯片和 TrueDepth 传感器的设备,目前这意味着 iPhone X、iPhone XS、iPhone XS Max、iPhone XR 和 iPad Pro .
较小的技术改进
ARKit 3 还受益于一些不太引人注目的功能,但仍增强了 iOS 上的 AR 体验。现在,它可以让您的设备一次检测最多 100 张图像,并且随着遮挡的引入,它还可以更好地识别和猜测物理对象的大小。一般来说,AR 体验应该更快,iPhone 和 iPad 现在可以更快地检测环境中的飞机。
RealityKit 和 Reality Composer
Apple 希望开发者能够使用 ARKit 3 中炫酷的新功能,因此通过与 Mac 上的 Xcode 和自定义 iOS 应用程序配合使用的 AR 工具,使这一过程变得更加容易。 RealityKit 极大地简化了将相机效果、动画、物理和音频融入 AR 项目的任务。 Reality Composer 旨在帮助缺乏 3D 建模经验的开发人员访问 AR 优化的 3D 资源库。
FaceTime 中的眼神接触校正
苹果并没有在舞台上提及其”注意力正确”功能,但开发者在 iOS 13 开发者测试版中发现了该功能 Mike Rundle(显然< a href="https://twitter.com/flyosity/status/1146136649883107328?s=20&xcust=1-1-233049-1-0-0&sref=https://ipressx.com/ios-13-everything-that- s-new-with-augmented-reality" rel="nofollow">在 2017 年预测)。在 FaceTime 通话期间打开它(如果您愿意,您可以通过”设置”将其关闭),您的眼睛似乎总是直视对方。通常,您不会进行直接的目光接触,因为您看的是显示屏,而不是相机。作为 Observant AI 首席执行官 Dan Shukin 在 Twitter 上指出,iOS 使用 ARKit 来实现这一魔力。不幸的是,截至撰写本文时,它似乎仅适用于 iPhone XS 和 XS Max。