Apple在透明的视线中建造了常见的衬底

WWDC 2021主题演讲使其更加清晰，苹果正在开放的常量衬底的组件构建。这不是他们的第一年 - WWDC 2019是他们首先拉回幕后的地方。从那时起，很清楚他们有技能拉开硬件和amp;设备软件堆栈。我一定不太肯定，他们了解建立引人注目的AR生态系统所需的全部范围 - 一种成交。随着今年的功能，很明显，他们可能能够把它拉开。在那里，在开放 - 每年他们都会仔细移动。

如果他们能够让人们为该生态系统创造内容，我仍然不确定; “建立它，他们会来”可能还不够。

最终用户将通过提供体验的默认设备体验偏差。客户无法刚刚将耳机放在上方并倾倒到矩阵中的“构造”中，要求他们安装一些应用程序。它必须提供一些有用的盒子。

AR Metaverse不是关于沉浸式，聚焦的相互作用。短术将支持经验。这些经历需要在＆amp时为您提供上下文信息;在你需要它的地方 - 在你对世界的移动时，或者作为更有意地“告诉我更多”的互动的一部分。

窗口小部件是将您连接到这些偶然使用的场景中的许多情况的视觉效果，这些方案将跨越AR Metaverse。它们将提供由远程设备驱动的及时信息，以便耳机可以呈现丰富的信息，而无需执行大部分相关性的计算。 Swifui是这里犯罪的关键伙伴 - 可能是真正的力量，而不是小部件平台本身。

“与您共享”将通过上下文筛选，而且，uhh，表面需要的内容。从许多来源采取不同类型的内容（今天的消息，将来举行举行举行的举行），并在合适的时间冒出正确的东西将是不是压倒性的人的关键。

聚光灯将利用对内容，上下文和输入的相同理解，但是当您故意通过MetaVerse寻求有关世界的更多信息时，支持这些情况。

支持所有这些智能人是意图框架，使开发人员能够将结构化操作暴露给系统经验，而没有系统必须具有定制的途径。

设备 - 本地语音识别是AR的基础 - 我们无法拍摄我们的脚和amp;当我们等待云端的往返时旋转我们的拇指，以得出如何处理如何处理“这五个项目，并在下周在办公室时记住它们”。语音 - 快速演讲 - 尤其是AR的关键，因为您不会永远能够用手。将其移动到设备表明Apple已获得足够的理解，以相信语音到文本模型足够稳定，以便以某种形式在固件中进行编码。理解也有先进，给出你可以离线执行许多操作。

用肢体操纵东西的能力将在AR中很重要，与您的声音相互作用将比更复杂的任务更为普遍。现实是我们拥有一台绑在头部的电脑，意图让我们更有能力。不要让我经历身体动作 - 移动事情，触摸东西 - 数字化。如果这种情况，我可能只是在物理世界中做到这一件事，而不是因为需要先向世界数字化。

快捷方式是解锁此 - 互动和amp的胶水;跨应用程序的连接将通过其他输入机制调用的复杂自动化组合在一起。应用程序将提供许多行动要执行，我们将能够结合，以使东西大于其部分的总和。

注意似乎是移动设备和amp的经验;桌面。但是，我们将看到的丰富信息＆amp;在MetaVerse内体验，我们需要一些东西来帮助我们目录，策划和组织所有这些信息。随着标记，提到等等的改进，提到等（由您当前使用的应用程序驱动）正在填写构建您在AR世界中关注您的数字笔记本的更大背景。

今天的快速注释导出它的上下文，Snapshots等从Apps的线程导致隐式系统理解MetaVerse＆amp;你周围的世界。您不想在网页或文档上拍笔记 - 您需要将该物理世界带入成权。

备注最终是一种审查＆amp的方法;了解你在偏见的“持有”的“持有”。

你不能只是魔法薄薄的空气。您必须建立它 - 这些组件需要实时耗尽设备。当然，它们通过体验基板在设备上浮出水面，但它们是关于将本地设备延伸到共享，接收和推导世界的内容。

直到我们拥有能够很容易生成的超高保真度的人才＆amp;共享，我们需要某种代理（AKA头像）。备忘录看起来很乐意在数字世界中代表自己。 Apple继续提高与Memoji适当表达您身份的方式，只会持续到未来。我们必须能够在正确的时间内表达正确的身份，在正确的地方，由自己控制，而不是生态系统。

地图 - 或者更具体地说是启用地图的数据 - 是为AR MetaVerse提供支持的氧气。没有它，没有骨头可以挂起任何其他经验。能够理解你在地球上的地方是允许其余的经验，以有效地定位在你身边。

利用Arkit的现场了解＆amp;位置锚定定位您的实际世界方向，当您从途中出现时是在较低级别的基础上建立建筑的一个很好的例子 - 尽管沿着映射的基础。

与新的增强细节建筑物＆amp;物理基础设施模型将矩形斑点延伸到地图数据内的桥梁，建筑物，正方形的复杂表示，甚至树放置甚至树放置都会对他们以前没有拥有的数据的信心。

这是音乐，对吗？不。它是音频的GPS。自从苹果几年前被苹果买了以来，我一直倾向于“这不是关于音乐”。

现在Shazamkit API让您识别任何音频，并使用匹配项来推动您的体验。这只是“认识到所有事情”的另一个方面，这将是为了支撑ar（并吓到每个人的生活）。

Shazamkit API - 围绕会话和输入的缓冲区驱动，以生成要匹配的所需签名 - 只是一个基于音频外的不同签名源生成其他匹配的跳跃跳跃和a-a-跳跃。点云的匹配签名 - 匹配的视频输入 - 似乎令人赏心不足地关闭。想象一下，而不是暴露媒体项目（例如歌曲），位置，地标，人，建筑物，商店，经验和过境点等。这将量身定制由Apps（或AppClips👀）＆amp驱动的经历;无论你在哪里，无论你在遇到什么。

当您考虑立即创建自定义目录时 - 一组签名W /您自己的元数据 - 它开始将窗帘拉回令人信服的基板，以发现增强。可以在设备上生成这些签名，以便在更大的服务目录中进行稍后共享或预先计算的包含，允许用户开始为自己绘制自己的世界，以及其他人。

WWDC谈话中提供的示例利用了恒定的匹配流来创建屏幕体验，例如通过匹配能够及时启用自动内容前进。想象一下这个世界规模。

即使是“Shazam Library”编目用户匹配的匹配似乎是你在世界上旅行时收集的“持有”的一部分（或者备忘录）你通过你的船只通过你的包裹用来打嗝） 。

当您开始考虑Shazamkit作为预先生成的模型和amp的更高级别抽象;来自Arkit＆amp的内容锚点; Coreml，您可以看到基础如何开始进一步归信的值，并进一步堆叠堆栈。

由本地信息驱动的位置意识，以提升GPS的重量，Cameras等人知道您在空间内的位置是关键。知道你在地球上的地方＆amp;在本地空间内，直到您需要了解该空间内事物的语义含义。作为相对于您的空间方向的额外输入（AKA设备），“查找我的”-Style设备将有助于收紧物理世界的映射以启用增强 - 真的这是平台基板的一部分，但是同样的技术下潜身体和虚拟之间的关键桥。

使用超宽带硬件和amp; “查找我的”网络是一个级别的丰富程度，可以为物理锚启用 - 为您创造一种方法，以便与物理物品合作，并将其带入数字世界。这些设备只能是简单的信标，也可以与数据网络＆amp;测距他们可以成为丰富的航点，以支撑能够用物理覆盖数字。由于这些设备被发现，他们可以参与您的持有袋，并在局部空间中创建量身定制的体验。

这不是访问成权，而是生成偏见的经验。你不能只是把偏好的空间搬到一个大空荡荡的房间，并在佩戴护目镜并绊倒光明的人们来说。现实作曲家让我们引导它。主要是一种促进专业创建的模型的场景组成的经验，WWDC21为这些模型开辟了一种新的方式，似乎很漂亮。

在主题演讲中进行了演示，但只是一个API，“对象捕获”API使得能够通过相机生成物理世界的数字双胞胎。它不是点拍摄相机级别，因为它需要桌面设备来执行它的工作（即使是m1 ...类似ipad pro🤔）。它还不需要iPhone或iPad来捕获输入图像：任何单反的工作 - 虽然带LIDAR的Apple设备将提供我只能假设的深度地图信息，但是看起来很糟糕。

获取这些模型在没有专业的帮助下生成的级别足够好，足以让政府工作，并能够将它们集成到您的场景中 - 通过现实作曲家或realitykit - 将解锁一堆内容一代以帮助在成交量中创建事物。没有那个，我们留下来支付艺术家做得很好，当我们不确定它是否是正确的工作，它是通过适当技能的艺术家的可用性所在的。

您已经获得了基线设备体验，并且提供了一种提供的基板。但是建立应用程序和amp呢？提供内容？我们需要那些开发者有针对性的工具＆amp;建立这些经历的API。苹果一直在这一点，事实证明。

SWIFTUI越来越能力，每个版本都有更多的能力，并且似乎是Apple的长期UI平台。它也不只是“低于玻璃”的经历。

由“可扩散的”概念提供“正确的工作”，在正确的时间，卸载到平台的范式范式 - 状态管理，声明性绑定和功能模式。

这个是缓慢的烧伤，它不像AR平台组件（第三维度在哪里？）。但是，AR一直不会成为“所有3D” - 有可能是最终的上下文经验，最终是2（.5）D体验。 RealityKit涵盖了所有3D体验的深度 - 并且将有一个融合两者的地方。最大限度地减少参与生态系统的基线成本是关键：3D沉浸式经验在技术上具有多种数量级，技术上和设计明智。 SWIFTUI模式具有在该空间中的价值，但它也可以是一个桥梁，用于获得2（.5）D的桥梁，以便以不要求提高成本的方式进入用户手中的桥梁。

但这不仅仅是关于开发人员体验 - 它也是降低基线计算成本。我们无法运行复杂的应用程序，直接在耳机上直接播放复杂的应用程序 - 物理学就不在那里。谣言是苹果护目镜将被束缚（无线）束缚，护目镜是在您的伴侣设备上计算的东西的投影。 Swifui的宣言“差异”模型将使这一点成为可能，并使渲染本身卸载到耳机，但驱动州和amp;来自伴侣设备的逻辑。

RealityKit是Swifui的沉浸式兄弟姐妹。这是一个完整的3D发动机，用于建立丰富，充满活力的体验。对于WWDC 21，RealityKit专注于生活质量改进 - 更好的ECS系统，以及改善渲染 - 辅助让更多人采用它。

这是一个表格赌注平台，用于实现AR的真实沉浸体验。我不认为这个平台已经完成，或者打算递送AR'，但它也代表了最明显的需求：建立一个可行的3D应用程序平台，而不要求每个人都落到金属水平和amp的水平;买一个游戏引擎。

AppClips可能是基础设施是在现实世界中发现应用程序的基础设施。当然，我们将有复杂的丰富的应用程序 - 说Facebook，或LinkedIn（😬） - 每个人都安装，但是将有其他经验偶然进入。类似于AppClips的原始意图（餐馆的菜单或踏板车租赁），他们会在需要时出现。

最终，AppClips是一个自动二进制部署工具，用于某些“小二进制”的定义。人们已经在AppClips中建造了AR经验，所以这似乎是扣篮。

在这里没有很多新的新功能，但他们已经完成了一些关键部件的循环 - 特别是当您导航到它时将直接带到应用程序的HTML元数据标记。无论锚点＆amp;位置上下文梦想将根据您的位置推动无缝安装。

今年Apple增加了阶段（物理音频时空发动机），主要专注于提高游戏的经验。但是音频是基于AR的 - 你不能只是玩一些简单的立体声音频，并期望结果是自然和引人注目的体验。您必须在混合的AR世界内建模用户，并使用该来定位来源和amp;计算影响。

阶段通过提供一种描述您的世界的方法来实现这一目标，并使其基于该世界计算音频影响。它摘要所有头部定位，原始设备的位置，以及在现实世界中分层的镜子体验。考虑到使音频不如“播放音频文件”那样简单的事实。您必须描述该音频和amp的属性;在应用程序或游戏体验中的环境形状，声音行为等似乎是您想要的。如果这些可以自动从现实世界网格生成和实际内置的场景中拉入，我们真的用天然气烹饪。

考虑系统如何使用此范例和模型，您可以为多个应用程序提供一个非常引人注目的世界系统系统。如果你眯着眼睛，你可以看到它们在不同的物理空间中建立一个苹果音乐音频源的能力，在没有物理音频源的情况下创建完美的多房间音频，他们在打开并告诉每个人的情况下。

在数字内容上驱动的同步体验显然将成为AR的关键体验。人们需要交换＆amp;实时地同步多个参与者跨多个参与者的数据 - 放置静态信息以供以后的发现不是超级引人注目的体验。

分享播放使人们能够通过FaceTime建立一个相互的会话。但是FaceTime只是今天的向量 - 从外部角度来看，没有关于分股，从根本上依赖它，可以添加其他向量。

在它的核心，分享是通过不透明传输的实时消息交换系统。这些消息是开发人员定义的，可以包含任何内容 - 媒体驱动的体验有效地仅包装，并针对该特定范例定制。

虽然他们今天没有结合，但SharePlay和Arkit的协作体验能够明确的播放模型，以创造跨越一个人的经验。

在平台上的设备上真正的难题是在设备上。有一些互动和amp;只能由本地设备提供的功能以及其解决方案是新颖的，并受到功率和amp的限制;延迟要求。又是艰难的。

对于全球可访问性意识日，Apple宣布了许多功能 - 其中一个是'Apple Watch的Assistivetouch'。此功能旨在促进为具有电机控制挑战的人使用手表，这一点瞥见了未来。它正在推动与手表的互动，只使用一只手，在手表上附加到。只是一些手势（夹紧，双夹，捏和双夹）或手腕运动（有效地通过倾斜控制），可以控制手表。这对我们所需要的人来说真棒。

但是，当我们谈论evaverse＆amp时; AR相互作用，通过手势的手势将是一个重要的相互作用方法。声音将有助于环境方案，但是当您在需要重点的场景时，您将要直接互动。这些手势本质上是基本的，但他们只是一开始。其他经历（挖清胶，Oculus）由视频跟踪驱动，但Apple已经有一个连接到您的手腕的设备！这可以做姿势！利用这一点作为手机/手表/护目镜的神圣三位一体的一部分，为您的AR Goggles体验创建一个voltron的体验似乎是一个垃圾扣篮。

以前创建ML已经增加了手势的检测和姿势，但不能真正告诉你它在做什么。当然，你可以派生单独的指挥者，但如果你想认识到它在做什么，你就是自己的。今年他们正在关闭这种差距。

这里的经验并不专注于以任意方式驾驶手势 - 这是创建ml，而不是输入堆栈 - 而是专注于手中的关键姿势的分类。他们对那些职位的动作。

值得注意的是，这些由视频＆amp驱动;图片。目前尚不清楚这在AR眼镜模型中可能有效哦嘿相机绑在你的脸上。

我们真的在v5吗？ hu！无论如何...... Arkit看起来像是在哪里寻找所有Snazzy-and Cool的功能。问题是它真的是RealworldPositioningAndunderstandKit。这是体验的一个非常重要的部分，但它不是一个完整的故事（Duh，看到这篇文章的其余部分！）。

您已经在行星（GPS）上进行了定位跟踪，以及本地（您的相机是点的位置），因此您可以找到有人能够增强其现实的内容。它仍然陷入手机中，但最终揭露世界相对位置的API将是相同的。

Arkit的一些更细微的部分包括Motion＆amp; 面部跟踪 - 这些觉得它们是由面部混搭经验的驱动和运动运动跟踪。 但了解人民运动将是真实世界中人们引人注目的关键部分 - 你想放置那个小的'它是如此'漂浮在他们上面并准确地跟踪他们吗？ 这是第一个 ......