使用ARKit记录空间声音并在虚拟3D波形中移动

代码艺术家Zach Lieberman在iOS 11中利用了苹果公司新的ARKit框架，构建了一个令人毛骨悚然的概念验证的空间音频应用程序，该应用程序可用于记录增强现实中的声音并通过在虚拟3D波形中移动来回放声音。这是一个演示此操作的快速视频(请务必打开声音)

在太空录音并通过其移动(视频有声音!)播放的快速测试#openframeworks pic.twitter.com/GdZcK3rj1L

— zach lieberman(@zachlieberman)2017年9月6日

他使用ARKit和OpenFrameworks(用于创意编码的开源C ++工具箱)构建了该文件。

我可以在博物馆中看到这种用途，作为一种交互式艺术装置：想象一下以这种方式录制音乐作品时，音符和节奏占据着人们可以通过移动3D波形进行播放的空间模式。

甚至可以设置装置或专用健身路径，人们可以在其中慢跑以播放预先录制的音乐。或者，如何在增强现实中进行寻宝游戏，您必须在整个房屋中找到音频线索?

可能性无穷无尽-如果您可以使用ARKit进行空间音频处理，那么就可以想象增强现实的单词，推文，表情符号，浮动的乐谱等等。

这是Zach的更多演示，展示了ARKit如何实时检测对象点。

快速测试动画点云数据pic.twitter.com/34mQvuKXNd

另一个pic.twitter.com/5RSFSzSg5N

它的冷静来看待的特征点，看到模型，可以大厦(THX @xavitribo)pic.twitter.com/8rqObs8seI

Zach的演示让我想起了Kimchi and Chips工作室的“光屏障”系列，该项目使用数百个校准的视频投影在空中创建体积图。如下面嵌入的视频所示，这些光投影在雾域中合并，以创建图形对象，这些图形对象会随着时间的推移在物理空间中进行动画处理。

今天早些时候，我们展示了由开发商最终的测量应用的Rinat Khanov，叫MeasureKit，你可以用任何东西，就像一个人的高度，到物体的距离，两点之间的角度，通过更多的对象指向你的iPhone来衡量刚想。