[Paper Reading] Efficient Reflectance Capture Using an Autoencoder
1 导言 从现实世界中采集高精度的材质信息是一件非常重要而又非常具有挑战性的问题。这个问题可以被建模为空间变化的双向反射分布函数(SVBRDF)的采集,即一个六维的随位置、光照、视角变化而变化的函数。直接采集一个未知的 SVBRDF 函数需要上千张照片,因为你需要足够多的样本去涵盖所有可能的位置、光照、视角,这也直接导致了直接采集在时间和储存上的高成本。 为此,人们开展了很多关于提升采集效率的工作。一类主流的方法就是通过设计精巧的光照模式来实现采样的”并行化“,即在一次拍摄中尽可能采集更多的组合。但是即便是此前最好的解决方案(Guojun Chen, 2014. Reflectance Scanning: Estimating Shading Frame and BRDF with Generalized Linear Light Sources),也需要采集上百张照片。这使得这项技术在落地时仍然遇到巨大的困难。 为此,论文作者提出两个基于光照模式的反射采集方法的根本性问题: 在光照模式的数量有限的情况下,到底什么光照模式是最优的? 如何从这些模式下采集的照片中,还原出原本的物体? 以往的工作对于前两个问题的回答都是手工操作,也就是通过手工推导来设计各种复杂的光照模式,然后再解算出重建的方法。但是这样的方法有两个问题:1. 光照模式的数量往往取决于推导的方法,而无法任意根据所需的精度进行选择;2. 这些光照模式并没有在足够多的实际数据中进行其有效性的验证。 因此,论文作者选择使用数据驱动的方法,自动从大量真实物体的材质数据中学到最优的光照模式。 2 相关工作 2.1 直接采样 直接采样就是通过遍历 SVBRDF 的不同参数组合,来重建出整个 SVBRDF 函数。这一系列的工作精度非常的高,但工作量也非常的大,耗时很久,效率很低。 2.2 优化采样 这一方向主要是是增加假设来对于 BRDF 采样本身进行优化,比如 Matusik 等人通过假设一个任意的 BRDF 函数都落在一个预先捕捉好的各向同性的子空间中,成功将采样数量降低到了 800 张。而 Nielsen 等人通过一个能够优化光照和视角的改进算法,将采样数量降低到了 20 张。Xu 等人在 2016 年甚至通过在近场相机忽略掉视角的变化,将采样数降低到了 2 张,并通过假设表面没有法向的变化,将方法拓展到了各向同性的 SVBRDF 上。 2.3 复杂光照模式 但是增加假设的方法对于真实世界中的绝大多数情况都是不具有拓展性的,因此另一个方向是优化采集本身的效率。[Gardener et al. 2003; Ghosh et al. 2009; Aittala et al....