和国内的TPCAST一样,来自澳大利亚的IMR也是致力于研究新高端VR头盔、摆脱线缆束缚的无线技术公司之一。
这家公司的独家秘笈,就是他们专为VR设计的压缩算法。能让压缩速度比传统视频压缩技术更快。媒体最近去看了一下这家公司硅谷的办公室,并亲自尝试了一下他们的系统。
IMR无线VR解决方案与TPCAST有何不同?
在当今诸多研究无线高端VR头盔的解决之道的公司中,已经有了很多方法。
有些公司(比如TPCAST)正在用更新的超高带宽——60GHz技术,来满足如今VR头盔在90Hz刷新率和2160×1200分辨率下所需的大量数据量。而其他公司正在采用现有的视频压缩解码技术来压缩数据来适用于现有的无线传输技术。
IMR主要依赖后者,不过用的不是现有的压缩解码技术,而是自己开发了一套专用压缩算法,据他们称是专为VR技术优化过的。
毕竟之前的解码技术都是为传统数字视频的压缩技术设计的。这有什么好处吗?IMR比较喜欢举这样一个例子,传统解码技术如H.264,采用的是帧间压缩(frame-to-frame compression),而不是逐帧压缩(one frame to the next),这样在90Hz下会有11毫秒的延迟。
IMR表示他们的压缩技术不用帧间压缩(或者像素采样),而能实现95%的压缩率,而编码和解码过程只需1毫秒就能完成。所有这些端到端的无线VR系统,包括多种硬件交互界面比如HDMI,其延迟都在2到3毫秒之间。
实现95%的数据压缩可不简单,因为据IMR而言,这一技术能实现如今的VR头盔在已有的5GHz 802.11ac无线技术上就能传输,也就是通过5G的WiFi就能跑了,或者别的类似带宽也行。
那么这些都是科技新闻所言,那么IMR的解决方案在实际VR头盔测试时究竟如何呢?这就是我们准备在此次硅谷办公室之行中准备发现的。
亲测IMR无线概念模块
目前这一原型系统是在HTC Vive上演示(虽然系统也能在Rift和别的头盔上运行)。一个小型3D打印的盒子放在桌上连接着Vive,在盒子边能看到一个短黄色的线缆插入盒子中…
然而另一端连着的还是这个盒子。这个线缆其实是把编码硬件和解码硬件连起来的,从而让压缩算法容易调试,无需无线连接。
IMR工作人员拔掉了黄色线缆,插上无线发射器和接收器来测试无线性能如何,把原本在黄色线缆中输送的数据无线发射出来。图中可以看到的是有线的HTC Vive,但是其实数据是无线传输的。【本文中大部分照片都有黄色线缆插着,但是那只是在A/B测试时,用于比较有线和无线延迟的时候拍摄的】
这个系统的最终用法当然是让这个白盒子里的编码器放到主机里,而编码器在头盔上(而不是放在一起),现在这么放是因为还在研发阶段。
随着系统开始在无线状态下运行,媒体测试了一些熟悉的游戏,包括《The Blu》,《太空海盗模拟器》,《Job Simulator》等,在延迟方面,体验者认为与有线HTC Vive不分伯仲。如果仅凭游戏体验询问是否连线,都不敢妄加猜测。
而视觉效果质量方面,IMR表示解压的图像“与原图像无法区分。”图像质量确实不错(尤其是如果真的是在95%数据压缩之后的话),但是严格来讲,还不是不可区分的,还是很有希望猜出哪个是压缩后的图像,哪个是压缩前的图像的。从这一点上TPCAST的方案当然更优秀,毕竟60GHz的技术不需要把图像进行压缩。
虽是这么说,IMR实现的图像质量很棒,足以让人实现无线VR体验了。我的感觉是大部分用户,只要不存心找压缩的碴,都不会发现其中有什么图像缺陷之类的问题。
众口难“调”
IMR称这一算法很灵活。随着使用的无线技术的带宽变化,可以把压缩率从95%调整,比如调到75%,而此时图像质量中的区别可能就真的肉眼难辨了。
今年早些时候参加CES 2017的时候IMR就演示了其无线技术。在这段实践中视觉效果有许多进步。现在认为觉得这个技术已臻成熟,可以开始严谨策划是否应该让Vive变成无线的版本了。
当然,就跟所有压缩技术一样,不同数据压缩效果不一样。还是有一些地方是IMR的压缩技术要挑战的。其中最大的问题就是梯度和低对比度的场景。这些都能导致很多带宽和物体丢失。
IMR公司称他们有方法解决这些问题,并会继续优化算法来对场景的不同部分进行压缩,绕开物体的问题,但是你可以想象要在各种不同的VR内容上实现100%正确的算法要有多少工作量,每个部分都需要有自己的压缩方式。
为了让算法能保证正确压缩,IMR表示可以让游戏直接给算法提供参数,针对游戏进行调整算法,这样可以让开发者或者用户们更好地压缩调整。
当今和未来的VR头盔
当然,和TPCAST已经推出成型的产品不同,IMR还只是一个概念方案。IMR的下一步计划是把这个盒子变成一个参考设计,能戴在头上实现真正的无线玩法——现在外观看起来很大,但是IMR称这个系统未来可以很轻易缩小整合到VR头盔中。
IMR表示他们的压缩技术能够支持现在的VR头盔,比如Rift和Vive,采用现有的无线技术比如802.11ac。对于未来最求更高分辨率的头盔,这家公司希望能继续改进,采用最先进的802.11ad技术,其带宽足以为每只眼睛提供4K清晰度。
据这家公司所言,这一算法的设计架构也支持眼球追踪——目前HTC Vive已经适配了七鑫易维的眼动追踪模组aGlass。随着眼球追踪数据也加入这个算法,IMR称其能进一步优化压缩算法,在眼球处精细压缩,其他地方则粗略一些(类似于凹面渲染技术)。
随着IMR展示了核心科技,他们表示正在寻找合作伙伴,开发额外附件,让HTC Vive和Oculus Rift都能适应无线VR,这将在今年上市。这家公司还与那些想把技术直接整合到VR头盔中的合作伙伴们分享了他们的参考设计硬件。
来源:青亭网