我一直在想这篇文章应该怎么开场,在 Facebook Surround 刚刚公布样片的时候写一家技术对标的公司难免有点贴热点,但事实上今天要介绍的量子视觉已经在近期获得了新一轮融资,估值也并不低。

后来发现用简单一句话介绍这家公司最直白 —— CEO 张聪是香港中文大学王晓刚以及汤晓鸥教授(不了解的朋友直接 Google 吧,知乎也行)的学生,目前 SenseTime 的研究团队有很多人都是创始人的同学。
这件事得从全景相机说起。目前我们能看到的全景相机产品,无论是机内(当然这个分类非常少,大多是伪机内)、机外还是后期(Kolor 或者 vahana 之类)大多使用特征法硬拼。简单来说,这些全景图片通过计算不同分镜头图像边缘的特征缝合得来。这样的拼接方式有几个明显的弊端:拼接效率低、算力要求高、结果出错率高,优势当然就是门槛低,目前市场上的 vahana、krpano 等拼接算法都基于 SIFT 开源包做成。硬拼法的天生局限也就是业内期待的 OZO 最终效果不尽如人意的本源。如果用 Kolor、vahana 之流也就算了,更可怕的是国内一些全景相机公司连 SIFT 都用不好,所以经常能看到“鬼影”、L 型拼缝、高光溢出等很严重的问题。
另一种方法使用三维重建做图像融合,通过计算机视觉算法获取图像的深度信息,将场景还原出来后根据深度将图片融合到一起。应用这一技术的代表是 Jaunt,Google 为他们提供了图像融合算法,还有近期即将开源的 Facebook Surround,国内也有一只手数的过来(可能半只手都嫌多)的团队有能力做,量子视觉就是其中之一。利用三维重建,硬拼法遇到的同步、错位等问题都能解决,另外,硬拼接中经常遇到的远近画面错位问题,在深度信息的帮助下也能避免。当然,白平衡统一、动态场景和人/物过缝的效果都远胜 SIFT 派。
在此之前已经有影视制作团队使用量子视觉的解决方案制作过 VR 短片,当时用的是他们事先标定好的 20 台 GoPro 机架。近期黄晓明的《新万水千山总是情》 VR 片段就用这套设备拍摄制成,我们在量子视觉的办公室看到了初剪的一部分原片。样片仅有小部分的色偏和错位,相比 Facebook Surround 《Here and Now》样片里的虚影和过缝问题前者的观感更加优秀,配合插值算法,画面清晰度和锐度都比好于其它国内全景样片。
量子视觉会在近期推出自己的一体机产品,硬件产品总监是前火乐科技 CTO,负责统筹自有相机 CMOS、ISP 和 Lens 的设计、整合和生产,这款产品的应用场景主要对标 Jaunt neo,为方便影视制作团队进行后期调色和特效制作,量子视觉一体机可以输出 10bit 或 12bit 高动态范围图像。为避免图像多次压缩,这款产品不使用 FPGA 进行机内粗拼,直接将每个镜头的图像使用数据线传输至服务器拼接,再由服务器转入后期生产流程。另外,现在的很多全景相机选择同一朝向设置平行双机位的方式实现“伪 3D”,威锐影业 CEO 董瑗珲曾经在采访中提到这种方案输出的画面在电影工业流程里并不可用,因为两组平行机位之间的画面不是 3D,上下画面也没有 3D 效果。与Jaunt Neo 类似,量子视觉的一体机产在水平方向上均匀放置 16 个左右的相机,利用估计的深度信息输出左右视差画面,实现镜头 FOV 覆盖范围内的全向 3D。这款产品自带四向收音,同时留有专业音频接口。
量子视觉天使轮投资由松禾暴风虚拟现实联合基金领投,并将在近期完成新一轮融资。在研发全景一体机的同时,量子视觉根据期间积累的行业经验制作 VR 视频拍摄白皮书,提高内容的成片率。未来,量子视觉会提供包括设备销售/租赁(包括拼接服务器)、直播、后期制作云服务和一体化解决方案等产品。接下来,量子视觉会和暴风、各地卫视及数家版权公司联合制作虚拟现实内容。
关于全景视频与 VR 的关联性和全视角实拍内容的需求,业内一直存在很多争议,但不可否认的是虽然投入比例不高,但多家国内外影视公司都有兴趣从宣发物料入手尝试制作全景内容。要让这些尝试脱离简单的“概念”,就需要通过技术革新来保证产品的可用性,三维重建显然才是让这个制作流程进入标准化、工业化的基本门槛。


还没有评论,来说两句吧...