高通VR820眼球追踪技术的独特之处

作者: aysz01 分类: VR眼镜 发布时间: 2016-10-08 00:00

    近日,高通在IFA大展上推出了一款集成骁龙820芯片的VR样机VR820。

高通VR820眼球追踪技术的独特之处

    对于高通的这一举措,有两个事情是大家最关注的:一个是高通为何要出一款基于820芯片的VR样机,另一个就是这款VR一体机采用的眼球追踪技术,它到底有哪些厉害之处?

    为了探究这两个问题,魔多君专门采访了七鑫易维联合创始人彭凡(七鑫易维是目前高通VR820的眼球追踪技术合作方之一),来听听他对眼球追踪技术的解密和高通推出的VR820这一事件的看法。

    魔多君:眼球追踪的技术原理是怎样的?

    彭凡:眼球追踪技术属于机器视觉的一种技术,它是通过图像传感器来捕捉到眼球的图像,根据图像的处理来识别每个人的眼球瞳孔里的特征,通过这些特征实时地反算出看屏幕的注视点。

    魔多君:眼球追踪技术的优势是什么?

    彭凡:PC VR对电脑配置的要求很高,GPU 渲染需要至少GTX970以上的显卡,再加上头显,价格在1-2万,这对于消费者就是一个很高的门槛。但是,眼球追踪的注视点渲染能把原来GPU处理的数据量从原来的100%降到现在的10%,可以让计算机的渲染效率提升十倍,让普通配置的电脑也可以跑起来。

    国外的一些专家测试过,我们现在虚拟环境中看到的一些菜单只是一级菜单,随着VR越来越成熟,功能越来越复杂,以后可能会有多级菜单。在这种情况下,相比于手势识别和语音识别等交互方式,眼控的速度是最快的。有测试数据表明,人眼的交互比其他的交互方式快10%以上。

    当然,眼部追踪主要用在一些弱交互上,如果应用在游戏里的强交互,有待开发。

    魔多君:眼球追踪技术是如何提高渲染效率的?

    彭凡:当你带VR头盔的时候,是需要渲染整个画面的,但是使用注视点渲染之后,只需要渲染你看到的那个画面,计算机只对用户看到的区域做注视点渲染。这个区域以外的位置,按一定的比例依次降低渲染的像素。这样一来,GPU的渲染工作就少了九成,渲染效率极大提升了。

    魔多君:眼部追踪技术有哪些难点?如何克服?

    彭凡:当我们在看VR的时候,头是在动的,眼球也在动,头与眼镜的运动还有可能不同步,运动轨迹是非常复杂的,而且所有这一切要在非常短的时间内计算出来,所以这个就很难。

    总结来说,眼球追踪技术的难点主要体现在高精度、低延时和大视野范围三个方面。

    高精度方面,因为每个人的眼球是非常微小的差别,那么如何精确识别人眼球的特征呢?这就要有更多眼球追踪的样本,并结合深度学习,通过大量样本的积累,不断的提升精度。

    解决低延时,就同时需要很强的硬件和软件。硬件方面需要更高帧率,更高规格的图像传感器,这些传感器主要掌握在少数的国际大公司的手上,比如索尼。软件层面主要是算法上优化。我们的延时在4-5ms以内。

    视觉范围层面,即便是很多的国际上做眼球追踪的公司,也只能追踪正前方的一小部分,不能做到全视场角度,这是因为算法上有缺陷。我们做到了垂直30°,水平50°,几乎达到了人眼转动的极限。

    总之,要把这个做好,一方面要有非常强的算法的积累,另一方面是有非常大量的数据。

    魔多君:除了VR,眼球追踪还有哪些应用领域?

    彭凡:眼球追踪技术可以应用在医疗领域,比如对于渐冻人来说,后期只有眼睛可以动,他们与外界沟通只能通过眼睛,而眼球追踪技术可以帮助他们交流。

    还可以应用于安全驾驶。基于眼球追踪的注意力的检测,和注意力的检测,这些用传统的方法效果并不是很准确。但是眼球追踪能测量到车主注意力是否在正前方,或者说通过眨眼的频率和瞳孔的距离来判断出司机是否走神,疲劳等。

    还有就是在广告领域的应用,这个有比较大的市场。通过分析用户注意力在广告的哪个位置,注意力程度如何,从而检测出有多少人看,注意力在哪。这些数据可以分析出用户的习惯和喜好,有利于广告创作。

    魔多君:您对高通推出VR820这个事件怎么看?

    彭凡:高通其实也不是发布了一款产品,他们只是发布了一款样机,只是想告诉小米、华为这些厂商,想做VR一体机的可以参照我的。高通自身不会做一体机的。

    这是因为,目前还没有一个厂商用高通820芯片把一体机做的很好(使用高通的芯片是有技术难度的,它不像MTK,MTK会把所有的解决方案打包好,你只需搭积木一样搭建就可以了,但是高通不一样,他们只给你一个核心的模块,其他的东西延展都需要自己去做),但是高通不想错过VR这波浪潮,所以想借助820芯片驱动这个市场。

    目前,我们还在跟HTC做了一个眼球追踪配件,直接装在HTC 眼镜上。预计在10月份上京东众筹,HTC也可能会把这个作为官方认定的配件。

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注

标签云