Canon Mixed Reality Project MReal 体验

今天在斯坦福体验了摄影大厂佳能自己捣鼓出的一款增强现实设备MReal。这是一款配有三个摄像头的有线连接头盔和对应的解码设备。配合佳能为其量身打造的Markers, 该产品可以实现空间内三维物体的实体渲染。不同于目前各大厂商的AR设备,佳能的这一款采用了Video see-through的设计。也就是说,用户眼前看到的影像实际是经过两个在眼睛处的摄像头采集的。头顶部还有一个简单的摄像头,头部平视时该摄像头朝下,用来跟踪地板上的maker map。

MReal HMD set.

设备的帧率在30 fps, 视角在110°左右。作为一个面向工业设计界的AR头盔(感觉Mixed Reality就是对Augmented Reality这个晦涩的词汇的大众叫法),感觉HMD本身只是三个摄像头的支架,视频信息被汇总到一个解码器一样的设备然后再传输给一台主机process,看起来略显笨重。但是不同于其他VR Hack成的MR设备,MReal在眼前的图像会真是还原实际的景深,所以裸眼看见物体的大小和通过此设备看到的大小别无二致,这一点还是不错的。

相关处理设备

此台设备由于配备了Marker 的地板,所以不需要额外的摄像机来跟踪头盔在空间的位置,用户也是通过一个贴满Marker的操纵杆来和MR环境交互,基本上全部是利用图像跟踪的技术。值得注意的是,为了提供更自然地交互,系统提供了颜色选取功能,用来让用户自定义一个颜色范围,比方说手,然后就可以将手的部分从二维图像中挖出来。据透露,通过两个摄像头捕捉图像的视差,三维空间可以重建,于是手和虚拟渲染出的物体就可以交互。

大家其实都忍不住想用手呢~
大家其实都忍不住想用手呢~

关于这个产品的应用,主要是针对工业设计。因为传统工业设计中直接制造毛培模型话费平均百万美元,到最后定稿阶段必须要手工制造出实体才能商讨。通过这样一个设备,许多设计可以按实际大小显示在增强现实空间里。而且由于头盔佩戴者可以被跟踪,相隔千里的人也可以针对同一个产品建模进行交流,用手中的tracker指向模型,另一边的用户会看到一个虚拟渲染出的手指向模型的位置,然后可以走过去观察。这样一个在虚拟环境中的展示可以很大程度上缩小开模的次数,从而减少设计成本。而且由于是在三维空间等大小显示,设计师可以更直观的获得产品外观方便设计。而作为Video See-through设备,可以很好地避免光学成像的半透明效果,渲染出的物体拥有实体店颜色,更适合工业设计用途。此外,在进行专业人员训练时,不需要实际的机器,人员就可以在这种虚拟环境下迅速尝试多台设备,对于培养诸如同一厂商整条流水线的汽车维修人员也是很有帮助的。

在教育方面,这也可以应用于医疗教学,可以更方便的展示相应信息。但是基于本设备的成本大约在10万左右,我相信还是工业界使用的可能性更大。

佳能的这款MReal设备推出大约有三年,并不面向普通消费者,提供SDK但是并不开源。但是确实作为一个Video See-through的设备,解决了光学成像的半透明问题,还是值得学习借鉴的。

IMG_20160413_170532 IMG_20160413_164129

产品在工业界的流水线所起到的作用。
产品在工业界的流水线所起到的作用。