ControlNet 之父张吕敏推出了名为 IC-Light 的控制图像照明光影融合模型。这一模型能够基于文本条件和背景条件重新照明图像,为图像编辑和增强提供了全新的视角和工具。
项目链接:https://github.com/lllyasviel/IC-Light?tab=readme-ov-file
夸克网盘下载:https://pan.quark.cn/s/e8a6b35333fa
迅雷云盘下载:https://pan.xunlei.com/s/VNxQ83Rb5Z2jZX-Twz-GrBGrA1?pwd=we2m#
Get Started 开始使用
下面的脚本将运行文本条件的重新照明模型:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py Or, to use background-conditioned demo:
或者,使用背景条件演示:
python gradio_demo_bg.py
模型下载是自动的。
请注意,“gradio_demo.py”此处有一个官方的 HuggingFace 空间。
项目类型
- 文本条件重新照明模型:IC-Light模型能够根据用户输入的文本描述,如“左侧光线”或“底部聚光”,自动调整图像的照明效果,使图像呈现出与文本描述相符的光影效果。
- 背景条件模型:除了文本描述外,该模型还能够考虑背景条件,如背景的颜色、亮度等因素,从而生成与背景更加协调的照明效果。
模型输入
两种类型的模型都接收前景图像作为输入,并根据用户提供的条件(文本描述或背景条件)进行照明调整。
猜你需要:【玄离199】GitHub上的免费开源项目要怎么安装运行使用?一个视频教会你!-喜好儿网 (heehel.com)
还有这个:【玄离199】Github 的开源项目怎么用?这可能是对新手零基础小白来说最简单的教程教学了!-喜好儿网 (heehel.com)
使用方法
- 脚本示例:官方提供了运行文本条件重新照明模型的脚本示例,方便用户快速上手。
- 演示方法:对于背景条件模型,也提供了相应的演示方法,帮助用户理解其工作原理和效果。
- 模型下载:IC-Light模型下载过程是自动的,用户无需手动操作即可获取所需模型。
官方 HuggingFace 空间
官方提供了一个名为 "gradio_demo.py" 的 HuggingFace 空间,用户可以在其中直接体验 IC-Light 模型的功能和效果。
截屏示例
官方展示了不同照明偏好下的文本条件模型输出示例,如“Left”(左)、“Right”(右)和“Bottom”(底部)等,这些示例直观地展示了模型根据文本描述调整照明效果的能力。
施加一致的光
在 HDR 空间中,IC-Light 模型强加了光源一致性。这意味着不同光源的光传输是独立的,并且混合光源的外观在数学上等同于单独光源外观的混合。这种一致性确保了生成的照明效果在视觉上更加自然和真实。
模型输出
高度一致的重新照明效果:IC-Light 模型能够产生高度一致的重新照明效果,使图像在不同照明条件下呈现出真实而自然的光影效果。
合并重新照明为法线贴图:尽管模型是基于潜在扩散的,但它仍然能够将不同的重新照明效果合并为法线贴图,进一步扩展了模型的应用范围。
模型注释
- iclight_sd15_fc.safetensors:这是默认的重新照明模型,它根据文本和前景条件进行照明调整。模型支持使用初始潜伏影响进行重新照明。
- iclight_sd15_fcon.safetensors:与默认模型类似,但使用偏移噪声进行训练。在用户研究中,该模型的表现略逊于默认模型。
- iclight_sd15_fbc.safetensors:这是一个更高级的模型,它同时考虑文本、前景和背景条件进行照明调整。通过重新整理一次,该模型能够生成更加协调和自然的照明效果。