迪士尼最新混合现实技术:无需头盔手控直接与CG电影角色互动

你走到一个大屏幕前,在一张长凳上坐下来,看见自己的形象出现在屏幕上,就像在照镜子一样。然后一只迪士尼的小飞象坐在了你的身边,递给你一只金色的球,你可以直接伸手接过来……

这是迪士尼在演示自己最新的混合现实技术Magic Bench——真的就像一只“魔法凳子”——任何人只要坐上去,就能与自己熟悉的卡通角色直接交流。

这个技术与概念中的AR或者VR最大的不同之处,是我们不需要头显或者任何手控设备。

位于匹兹堡的迪士尼研发团队在描述这项技术时,首先强调了上面那句话,然后用一句妇孺皆知的通俗方式解释:

这是(对所谓人机交互)最简单的说明,一个人进入一台电脑,电脑把这个人跟一个(电脑制作出的)角色摆在了一起。

不仅这个解释非常巧妙和简洁。从演示视频看到的效果也非常惊艳。其实背后的原理也一点不复杂就能说清楚:

迪士尼R&D团队开发的Magic Bench技术,就是在一台大的电脑显示器上让观众看到自己的镜像,然后使用深度传感器重建一个与现实人物周围一样的数字场景,在这个跟自己环境一模一样的数字场景中,现实中的观众就能以第三人称视角,看着自己的镜像与电脑CG出的动画形象互动了。

Magic Bench真正与目前概念中的混合现实不同之处,就是它把现实中观众的镜像与CG形象放在了一个与现实场景一样的数字环境中。而不是把一些视频影像叠加在另一些上面。事实上,观众看到的是实时生成的自己的“影子”在与虚拟的目标互动。

迪士尼这项技术的研发人员旨在创建一种“动态游戏”的体验。那只魔法凳是带有触觉感应功能的设备,可以提供震动等多种触觉感知。使坐在上面的人能真切地感觉到CG交互对象“真切地”存在。此外,魔法凳还能识别坐在上面的人的具体位置和数量,以此推断出需要实时创建的镜像及其位置。而且,坐姿不同也会有不同的体验。

然而,魔法也不是万能的。这里存在一个很显著的问题是,在深度传感器和相机镜头无法完全对应的区域内,会出现“深度阴影”。解决方法是,Magic Bench系统使用修改后的算法来创建2D背景。 等重建后的3D形象和2D背景被定位在虚拟空间中之后,再用这些3D形象置换原来背景中的目标。简单而言,这样得到的实时渲染出的场景就是一个能把现实背景与虚拟物体,光和阴影交互融合后形成的影像。给观众的感觉更加真实。

这套Magic Bench的3D重建系统,使用的是既有的Microsoft Kinect运动检测装置,结合了深度感知系统和颜色传感器的功能。具体的解释就是:研发人员以点云中的各个点作为目标多边形物体的每个顶点,先给目标创建一个固定不变的网格状外观,然后将来自相同Kinect的RGB摄像机给到的色彩与网格一一吻合。(RGB摄像机可以在三根不同的电线上传送红蓝绿三种基本颜色。这种类型的相机经常使用三个独立的CCD传感器来获取三色信号。用于非常精确的彩色图像采集——译者注)。用这种方式给网格“着色”,同时完成3D重建的视频。

这项技术目前看似是一个“小游戏”,细思之后会发现在未来的“沉浸式娱乐”上,有广阔的发展空间。迪士尼研究机构的首席数字艺术家Moshe Mahler在关于Magic Bench的演示视频中说:“我们这个项目的“魔法”是:(观众)听到一个角色过来,看到它们进入了自己的空间,然后发现到它们在自己身边坐了下来。”

就未来的沉浸式娱乐而言,我们只需要在客厅里摆这么个“魔法观众席”,打开家庭影院的大屏幕。就可以看见我们与自己熟悉的虚拟角色共处一个故事中,你可以触摸它们,接过它们递过来的任何东西,甚至可以对话……而这一切最关键的所在是,除了正坐着的魔法椅子,你不需要任何外设了,而且全家都可以同时进入一个虚拟世界。

https://v.qq.com/x/page/f0530sax0qf.html

迪士尼的研发团队将会带着Magic Bench,参加下周在洛杉矶举行的Siggraph 2017计算机图形和互动技术会议。这时候只想再问一次:迪士尼究竟是一家什么公司呢?能同时在奥斯卡和Siggraph都占尽风头才是这个时代的赢家啊。

相关链接:

迪士尼曝光星战主题乐园“银河之刃” :1000美元驾驭千年隼进入全沉浸虚拟世界

迪士尼阿凡达主题公园开张:如何打造沉浸娱乐新地标

迪斯尼推出第四个孵化器 VR游戏和线下体验店等11家技术公司入驻“米老鼠基地“

IN2原创资讯转载请注明来源及链接 视频|图片来自迪士尼]