谷歌团队和麻省理工学院共同研究的控制真实图像中物体材料属性新方法，如粗糙度、金属、反照率和透明度。他们的方法利用了以照片真实感而闻名的文本到图像模型的生成先验，采用标量值和指令来改变低级材料属性。为了解决缺乏具有受控材料属性的数据集的问题，他们生成了一个以对象为中心的合成数据集，其中包含基于物理的材料。在此合成数据集上微调修改后的预训练文本到图像模型，使他们能够编辑真实世界图像中的材料属性，同时保留所有其他属性。他们展示了他们的模型在材料编辑的NeRFs中的潜在应用。
（Alchemist项目链接在下方👇）
项目介绍：https://www.prafullsharma.net/alchemist/论文链接：https://arxiv.org/abs/2312.02970
AI论文与新生技术专题：
https://heehel.com/collection/topic-aipapers-jiaocheng
材料属性的参数控制
他们展示了他们编辑对象粗糙度、金属、反照率和透明度的方法的结果 看不见的真实图像。由于相对属性强度呈线性变化，因此结果显示平滑编辑内容会发生变化 仅具有所需的材料属性，同时保持图像中的高级语义和其他信息。
注意：请考虑全屏观察 材料性能的细微变化，尤其是在粗糙度和金属感的情况下。
空间定位
他们可以将材质编辑的效果限制为特定对象的分割。如下图所示，在两只猫或两个杯子的情况下，他们可以使用特定实例的分割图来掩盖相对的材料变化。
比较视频结果
他们将他们的方法与 InstructPix2Pix 进行比较，该方法仅在他们的数据（基线）上在看不见的真实图像上进行提示训练，用于 相对属性强度的线性变化值。 观察他们的方法产生的平滑过渡，而不是在以下情况下出现闪烁的过渡 基线。
注意：考虑全屏观看，观察材料属性的细微变化， 特别是在粗糙度和金属感的情况下。
NeRF 中的材质编辑
在 DTU MVS 的精选场景中对 NeRF 进行材质编辑。他们编辑训练图像以减少 反照率或更高的镜面反射。然后，他们训练一个普通的 NeRF 配置，并观察到高度合理的 三维 具有预期反照率、粗糙度和金属变化的结构。
注意：这些轨道动画视图位于训练分布之外，因此类似飞蚊症的现象并不出乎意料，背景伪影也不是出乎意料的，因为近远边界是为 仅限前景。
