Paper Reading

1. 这篇文章究竟讲了什么问题？ 如何利用 GPU 来并行加速大规模的网格处理 2. 这个问题的性质是什么？如果不完全是一个新问题，那为什么它“仍然重要”？ 属于改进类的问题 以往的网格加速方法要么是： application-specific 需要从线性代数上对问题进行 reform mesh 会变为稀疏矩阵 减少了中间变量，但是局部性变差，性能不够好 所以需要一个通用的高性能加速框架 3. 这篇文章致力于证明什么假设？ 通过高效的数据结构 + 更好的变成模型，可以实现通用的网格处理加速 4. 有哪些与这篇文章相关的研究？ 高性能编程模型 图像处理：Halide，调度与算法分离 稀疏体素计算 / simulation：太极 纯模拟：Ebb 图处理：Gunrock 5. 这篇文章提出的问题解决方案中，核心贡献是什么？ 一个 high-level 的编程模型 用户顶层 定义好每个 mesh 上执行的计算 八种查询 以计算 vertex normal 为例： 非常清晰 模型底层 通过将整个 mesh 切分成很多 patch，然后按照 patch 来往 GPU 的 block 上分配计算任务，进而增加了局部性 patching 之后的 index 可视化出来如下图，很明显，比起直接按照 global sorting 的划分，patching 下相同 index 的部分会更加集中，相关数据在查询、计算的时候可以常驻 shared memory 那么 patch 如何表示？...

1. 这篇文章究竟讲了什么问题？ 通过体积风格转移的方法，来高效地构造颜色外观上符合要求的、异质单反射体积。 网络使用了一个体积的自编码器，并且使用了 stylizing kernel predictor 2. 这个问题的性质是什么？如果不完全是一个新问题，那为什么它“仍然重要”？ 属于改进性质的问题，之前已经有不少人研究过了体积上的风格迁移，但是文章提出的方法能够得到更好的效果。 同时这篇 paper 也属于 Artistic Appearance Design，传统的方法需要较为复杂的人工调整才能得到较好的效果，而本文的方法不需要人工干预，效率更高。 3. 这篇文章致力于证明什么假设？ 证明它的这套风格迁移的框架是 work 的，并且效果很好 4. 有哪些与这篇文章相关的研究？ Neural Style Transfer for Images Neural Style Transfer for 3D Contents Artistic Appearance Design Differentiable Rendering 5. 这篇文章提出的问题解决方案中，核心贡献是什么？ 核心 idea 提出了一个将颜色外观从二维图形转移到三维图形上的框架 细节 设计了一个多尺度的基于 kernel 的神经网络来进行任意的风格迁移并保证时间上的一致性 SKP 首先使用 CNN (VGG) 来提取多个尺度的二维图片上的特征 然后选用 channel-wise 的均值和方差（实际网络中用的是标准差）进行拼接，得到一个特征向量 将这个向量通过一系列全连接层映射到一个 kernel 上 VolAE 经典的 encoder-decoder 结构，中间带有 skip 连接 在 decode 阶段将前面 SKP 得到的 kernel 插入进来，来将二维的风格加入到生成的体积中 引入了一个密度感知的 instance normalization 层，来避免色彩偏移...

Disclaimer: 这几篇 paper reading 是我去年暑期在 MSRA 实习期间留下的笔记，近期整理文件翻出遂转至博客。其中的内容不保证正确性，观点仅供参考。 “十问” 的格式来源于沈向洋老师的分享，指路 👉 1. 这篇文章究竟讲了什么问题？ 蒙特卡洛可微渲染中的对偶采样 问题： 可微渲染：渲染是在3D场景中进行积分得到2D图片，可微渲染就是逆向渲染的一个方法，通过微分从2D图片得到3D场景的部分参数 本文主要研究的是 physical-based 可微渲染，不是光栅化那种的 传统的 sampling 方法在面对高光表面的时候，会非常低效，尤其是在对全局的几何求导的时候 引入对偶采样可以大幅提高采样效率 2. 这个问题的性质是什么？它的重要性何在？ 对于传统方法的改进，解决掉了传统的 sampling 方法在面对高光物体时的低效问题 重要性： 计算制造、计算成像、遥感 不过感觉高光这件事在成像上重要一些，遥感这种远场的情况很少出现高光 完善了以往的方法，使得整个 BSDF 的对偶采样框架有更好的普适性 3. 这篇文章致力于证明什么假设？ 利用了对偶采样的蒙特卡洛算法能够很好的估计内部积分，从而使得整个采样框架具有更好的效率和普适性 4. 有哪些与这篇文章相关的研究？这一领域有哪些关键人物？ 本文的作者（Zhao Shuang）就是专门做可微渲染的，在去年的 SIGGRAPH20 上给了一个可微渲染的 course，CVPR21 又给了一个 tutorial talk Wenzel Jakob, 开发了 mitsuba2 的团队，mitsuba2 主要解决了可微渲染中高性能 auto diff 的问题 还有 Tzu-Mao Li 老师 5. 这篇文章提出的问题解决方案中，核心贡献是什么？ 面对高光表面，蒙特卡洛为什么慢？ When 𝐹 contains high-magnitude positive and negative regions, estimating 𝐼 using Monte Carlo methods with independent samples can suffer from very slow convergence....

1 导言 从现实世界中采集高精度的材质信息是一件非常重要而又非常具有挑战性的问题。这个问题可以被建模为空间变化的双向反射分布函数（SVBRDF）的采集，即一个六维的随位置、光照、视角变化而变化的函数。直接采集一个未知的 SVBRDF 函数需要上千张照片，因为你需要足够多的样本去涵盖所有可能的位置、光照、视角，这也直接导致了直接采集在时间和储存上的高成本。 为此，人们开展了很多关于提升采集效率的工作。一类主流的方法就是通过设计精巧的光照模式来实现采样的”并行化“，即在一次拍摄中尽可能采集更多的组合。但是即便是此前最好的解决方案（Guojun Chen, 2014. Reflectance Scanning: Estimating Shading Frame and BRDF with Generalized Linear Light Sources），也需要采集上百张照片。这使得这项技术在落地时仍然遇到巨大的困难。 为此，论文作者提出两个基于光照模式的反射采集方法的根本性问题： 在光照模式的数量有限的情况下，到底什么光照模式是最优的？ 如何从这些模式下采集的照片中，还原出原本的物体？ 以往的工作对于前两个问题的回答都是手工操作，也就是通过手工推导来设计各种复杂的光照模式，然后再解算出重建的方法。但是这样的方法有两个问题：1. 光照模式的数量往往取决于推导的方法，而无法任意根据所需的精度进行选择；2. 这些光照模式并没有在足够多的实际数据中进行其有效性的验证。 因此，论文作者选择使用数据驱动的方法，自动从大量真实物体的材质数据中学到最优的光照模式。 2 相关工作 2.1 直接采样 直接采样就是通过遍历 SVBRDF 的不同参数组合，来重建出整个 SVBRDF 函数。这一系列的工作精度非常的高，但工作量也非常的大，耗时很久，效率很低。 2.2 优化采样 这一方向主要是是增加假设来对于 BRDF 采样本身进行优化，比如 Matusik 等人通过假设一个任意的 BRDF 函数都落在一个预先捕捉好的各向同性的子空间中，成功将采样数量降低到了 800 张。而 Nielsen 等人通过一个能够优化光照和视角的改进算法，将采样数量降低到了 20 张。Xu 等人在 2016 年甚至通过在近场相机忽略掉视角的变化，将采样数降低到了 2 张，并通过假设表面没有法向的变化，将方法拓展到了各向同性的 SVBRDF 上。 2.3 复杂光照模式 但是增加假设的方法对于真实世界中的绝大多数情况都是不具有拓展性的，因此另一个方向是优化采集本身的效率。[Gardener et al. 2003; Ghosh et al. 2009; Aittala et al....