微软Hololens的定位是一款MR 设备(Mixed reality)。MR与AR的不同我认为是MR能够将真实环境的场景信息与虚拟对象进行完美的融合,它是基于SLAM(SimultaneousLocalization and Mapping实时定位和场景建模的技术,使得设备能够识别周围环境,并且准确知道用户在场景中的位置,增强了用户使用的真实感。

Hololens本身设备是一台头戴式的计算机,其配备一个半透明/分辨率极高的See-Through屏幕,整个设备集成了所有的零件,具体的详细配置见下图:

 

在软件方面,微软一直在VR,MR的计算机图像识别,Kinect 形态预测,手势追踪和识别,图像渲染效果,更强大的计算能力等方面都在深入研究,这些核心算法或技术是提高设备的用户体验的关键。 在内容开发方面,微软希望构建一个生态系统,提供一个像Holographic这样的软件平台,通过把不同的算法和服务变成普通用户都能用的API,想开发MR应用的人就能用这些工具和服务来开发应用,最后可以做到HoloLens上去,也可以用到其他虚拟现实、增强现实设备上去。

在混合现实领域,还需要解决的问题:

 1:光影技术在图形学里叫“绘制技术”,实时的、光影真实的三维场景绘制技术一直是研究的热点。微软研究院第一次尝试用机器学习的方法处理这一问题,第一次把一些原来非常难做到的复杂光影效果做成实时。我们相信,随着这些技术的发展,会有更多的酷炫的光影效果,可以在VR和MR中呈献给大家。

2:怎么更方便地产生更真实的三维场景和交互内容。传统上我们需要艺术家去造型,但另一个方法是从真实世界中直接拍摄捕捉。比如,我想做一个咖啡馆,以前艺术家要用三维造型软件手工去做,包括所有细节,这是一种方法。还有一种方法,是拿一个深度相机或普通相机,把一个咖啡馆里所有的桌子和墙的几何形状、材质完全捕捉下来,把它放在三维场景里,真实感一下就提高了,所有桌面的材质都会很真实。有了这个技术,艺术家就不是无中生有了,他可以在这个场景的基础上把材质改改,比如让桌子生点锈,把它变得更有质感。因此内容捕捉技术是非常重要的技术路径。微软研究院在这个方向做了非常多的研究工作,我们的目标也是希望