//再不认真就输了!
//致力于发现AIGC动态与教程。

ControlNet之父张吕敏再次降下他的神迹:IC-Light控制图像照明光影融合模型

ControlNet 之父张吕敏推出了名为 IC-Light 的控制图像照明光影融合模型。这一模型能够基于文本条件和背景条件重新照明图像,为图像编辑和增强提供了全新的视角和工具。

项目链接:https://github.com/lllyasviel/IC-Light?tab=readme-ov-file

夸克网盘下载:https://pan.quark.cn/s/e8a6b35333fa

迅雷云盘下载:https://pan.xunlei.com/s/VNxQ83Rb5Z2jZX-Twz-GrBGrA1?pwd=we2m#

Get Started 开始使用

下面的脚本将运行文本条件的重新照明模型:

git clone https://github.com/lllyasviel/IC-Light.git
cd IC-Light
conda create -n iclight python=3.10
conda activate iclight
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python gradio_demo.py
Or, to use background-conditioned demo:

或者,使用背景条件演示:

python gradio_demo_bg.py

模型下载是自动的。

请注意,“gradio_demo.py”此处有一个官方的 HuggingFace 空间。

项目类型

  • 文本条件重新照明模型:IC-Light模型能够根据用户输入的文本描述,如“左侧光线”或“底部聚光”,自动调整图像的照明效果,使图像呈现出与文本描述相符的光影效果。
  • 背景条件模型:除了文本描述外,该模型还能够考虑背景条件,如背景的颜色、亮度等因素,从而生成与背景更加协调的照明效果。
    模型输入

两种类型的模型都接收前景图像作为输入,并根据用户提供的条件(文本描述或背景条件)进行照明调整。

猜你需要:【玄离199】GitHub上的免费开源项目要怎么安装运行使用?一个视频教会你!-喜好儿网 (heehel.com)

还有这个:【玄离199】Github 的开源项目怎么用?这可能是对新手零基础小白来说最简单的教程教学了!-喜好儿网 (heehel.com)

使用方法

  1. 脚本示例:官方提供了运行文本条件重新照明模型的脚本示例,方便用户快速上手。
  2. 演示方法:对于背景条件模型,也提供了相应的演示方法,帮助用户理解其工作原理和效果。
  3. 模型下载:IC-Light模型下载过程是自动的,用户无需手动操作即可获取所需模型。

官方 HuggingFace 空间

官方提供了一个名为 "gradio_demo.py" 的 HuggingFace 空间,用户可以在其中直接体验 IC-Light 模型的功能和效果。

截屏示例

官方展示了不同照明偏好下的文本条件模型输出示例,如“Left”(左)、“Right”(右)和“Bottom”(底部)等,这些示例直观地展示了模型根据文本描述调整照明效果的能力。

施加一致的光

在 HDR 空间中,IC-Light 模型强加了光源一致性。这意味着不同光源的光传输是独立的,并且混合光源的外观在数学上等同于单独光源外观的混合。这种一致性确保了生成的照明效果在视觉上更加自然和真实。

模型输出

高度一致的重新照明效果:IC-Light 模型能够产生高度一致的重新照明效果,使图像在不同照明条件下呈现出真实而自然的光影效果。
合并重新照明为法线贴图:尽管模型是基于潜在扩散的,但它仍然能够将不同的重新照明效果合并为法线贴图,进一步扩展了模型的应用范围。

模型注释

  1. iclight_sd15_fc.safetensors:这是默认的重新照明模型,它根据文本和前景条件进行照明调整。模型支持使用初始潜伏影响进行重新照明。
  2. iclight_sd15_fcon.safetensors:与默认模型类似,但使用偏移噪声进行训练。在用户研究中,该模型的表现略逊于默认模型。
  3. iclight_sd15_fbc.safetensors:这是一个更高级的模型,它同时考虑文本、前景和背景条件进行照明调整。通过重新整理一次,该模型能够生成更加协调和自然的照明效果。

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《ControlNet之父张吕敏再次降下他的神迹:IC-Light控制图像照明光影融合模型》
文章链接:https://heehel.com/aigc/ic-light.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册