凌感uSens与诠视科技战略合作,加速VR设备中的手势识别技术落地


    近日,计算机视觉(手势识别+slam)开发公司杭州凌感科技宣布和ARVR视觉模组硬件初创公司诠视科技进行战略合作。
    凌感科技此次和诠视科技的战略合作着力于VR/AR领域的手势追踪技术的结合,由凌感科技提供手势识别的软件算法,基于此算法,搭载了诠视视觉模组的VR/AR设备可以实现手部的3D骨骼识别和跟踪。
    凌感和诠视都是专攻VR/AR领域的技术公司,但是在技术层面上,双方研究的方向并不相同。凌感科技专攻手势识别/骨骼识别以及6DoF Slam技术、物体识别等。而诠视科技的优势在于视觉模组和头显头显设计并且已应用于诸多VR/AR设备上。因此双方合作后,未来采用了诠视模组的VR/AR头显能够在不增加任何传感器的前提下具有高精度手识别能力,实现自然、高效的交互体验。
    凌感手势追踪算法与诠视视觉模组结合
    如今VR、AR在全球兴起,初创公司争相涌入市场,相比很多厂商选择从VR/AR硬件整机入局,凌感和诠视反而都选择了各自的垂直赛道,而这两条赛道也在时代的大潮下出现了必然的交集。
    “凌感将提供手势识别软件算法,实现手部的3D骨骼跟踪和手势识别,结合到诠视的多款硬件模组中,该模组带有Movidius计算芯片、双鱼相机、RGB相机或TOF相机,可用于VR/AR头显。双方战略合作后,采用了诠视相机模组的头显,可以在不增加任何硬件的基础上,还能获得专业精准的手势交互能力。” uSens凌感联合创始人、CTO费越博士介绍了此次合作的细节。
    凌感自2014年在硅谷成立以来,主要在视觉三维人机交互解决方案开发中进行深入探索。同时它也是全球第一个在有线设备以及移动端中基于inside-out实现26自由度手势追踪和6DoF Slam定位的公司。
    目前凌感的手势识别算法,几乎能够适配所有的相机,包括深度相机、彩色相机、红外相机、双目相机,并且能够实现静态和动态两种不同的手势识别。
    在静态手势识别中,能实现超过10种以上的手势动作,包括指向、抓取、握拳、OK、剪刀手等手势,并且可扩展定制,准确率达到98%。
    
    而动态识别中,能够实现5种以上的3D动态动作,同样支持扩展定制,准确率达到95%。
    
    在计算机视觉领域,实现手的三维骨骼跟踪识别具有深远意义。早前手势识别需要依靠TOF、结构光等深度相机完成,对于VR/AR头显来说增加新的模块,不仅意味着成本提升,也会带来头显重量、体积加大,反而得不偿失。
    然而随着计算机视觉算法的进步,凌感已经实现了最简单的单目RGB相机和3D手势骨骼识别技术,并且将这项技术应用于多个场景,从智能手机到工业级设备。同时该技术也被推向VR/AR头显领域。例如凌感早在2016年与戴姆勒合作,基于自然手势交互,6DOF SLAM跟踪的Mixed Reality头显来实现新的购车体验。凌感的手部追踪解决方案Fingo也已经与国内外AR/VR类头显厂商进行了深度合作,部分厂商已在规划集成Fingo的交互头显,而这也是为什么凌感选择与诠视科技合作,目的是为了加速手势识别更快地应用到VR/AR头显中。
    另一方面,诠视作为一家从事空间感知与认知(VSLAM+AI)底层技术开发的计算机视觉公司,主要专注于向AR/VR/MR、机器人、扫地机、无人机等领域提供高精度位置追踪、导航、避障及物体识别等高速(100fps)端处理VSLAM+AI的视觉边缘计算平台解决方案。
    
    据了解,诠视科技服务的企业品牌客户超过60家,多款品牌VR/AR设备均采用了诠视的视觉模组。去年诠视与南京睿悦Nibiru合作,嵌入Nibiru的系统底层中,将视觉模组融入到更多OEM/ODM的VR/AR终端中。

    走向VR/AR主流交互方式的必然合作
    此次合作的考量并不只是单纯的技术和算法上的结合,同时还是因为整个行业未来前景的影响。如今VR/AR头显都在追求更舒适的互动体验以及精简自由的移动设备,而手势追踪和SLAM定位系统算法明显是会直接影响到未来VR/AR硬件产品的走向。
    为了保证更舒适的交互体验,手势追踪最开始被应用到了许多VR、AR设备上。尽管当下很多硬件设备依然会配备手柄控制器,但是手势识别将逐渐成为VR/AR设备的“基本”功能。
    就VR头显来看,早在2014年底,Facebook就已经首次表达了对VR手势追踪技术的兴趣。此后,公司收购了Nimble VR初创公司,并将其四名手控跟踪技术的资深研究员纳入麾下。2019年年底,Facebook旗下的Oculus Quest宣布将在其硬件上开放手势追踪功能。在Oculus Quest之前,手势识别实际上已经成为了AR眼镜中最基本的交互方式,而VR上Vive Focus等设备也都开启了尝试。
    除此之外,2017年谷歌也发布了手势识别芯片Project Soli。无论是HoloLens、谷歌还是苹果和Facebook,都在这一技术领域着重开发。可以看出,手势追踪是行业大头目光所指,也意味着未来硬件迭代的方向。
    无论是从PC VR和连接手机的AR眼镜到VR、AR一体机,去繁就简是VR/AR硬件设备的大势所趋。因此,在提高VR设备便捷度的同时,无疑要思考去掉冗杂的部分,精简整个硬件交互流程。而手势识别最大的优势给用户提供了一种最自然的交互方式。因此,在硬件迭代的角度来看,手势追踪无疑是所有厂商都在思考的一个技术迭代方向。
    VR/AR设备是极其追求用户体验的产品。相比手柄,当自己的双手能够在虚拟世界实现即时互动反馈,在游戏、工业、医疗等场景中,交互会更加自然以及更加真实。因此,手势追踪除了在硬件迭代精简道路上必不可少,在升级虚拟现实体验的过程中也是重要的一环。
    
    加速手势识别技术应用  强强联合降低研发成本
    凌感和诠视强强合作,将手势识别技术融合到视觉模组中,不仅能加速手势识别技术在VR/AR头显中的应用,同时能为硬件公司降低研发成本。
    目前inside-out定位已经成为VR/AR硬件最主流的技术方案,不论是Oculus Quest、Vive Focus、Vive Cosmos等VR设备,还是微软、联想、Magic Leap等AR设备,都采用了inside-out追踪,并且成为其中标配功能,而这也将成为手势识别功能实现的硬件条件。
    不过目前手势识别功能在VR、AR上并未普及,虽然实现简单的手势识别并不难,但如果要在普通的2D灰度或者RGB摄像头上实现高精度的3D手势识别和骨骼识别,对于许多硬件团队来说,需要投入非常多的人力进行研发。即便是科技巨头,很多技术也并不会亲力亲为,反而会选择收购专业的技术团队或者外部团队合作,抱团趋势非常明显。
    拥有雄厚资金和庞大技术实力的巨头尚且如此,对于创业企业来说,所有VR、AR硬件中涉及的技术全部自行研发几乎不可能,所以整合市场已有技术,在自己擅长的领域深耕是更明智的方式。
    凌感与诠视合作,不仅能够降低硬件企业的研发成本,同时,也将有效推动手势识别技术在VR/AR设备上的应用,为开发团队和用户提供更多的交互选择。