Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片

Omost 是一个将 LLM 的编码能力转换为图像生成(或更准确地说,图像合成)能力的项目。

Omost (读音:almost)这个名字有两个含义:1)每次使用Omost后,你的形象就差不多了; 2) O 表示“全向”(多模式), most 表示我们希望充分利用它。

Omost 提供了 LLMs 模型,这些模型将使用 Omost 的虚拟 Canvas 代理编写代码来组成图像视觉内容。这个 Canvas 可以通过图像生成器的特定实现来渲染以实际生成图像。

目前,我们提供了 3 个基于 Llama3 和 Phi3 变体的预训练 LLM 模型(另请参阅本页末尾的模型注释)。

所有模型均使用以下混合数据进行训练:(1) 包括开放图像在内的多个数据集的真实注释,(2) 通过自动注释图像提取数据,(3) 来自 DPO(直接偏好优化)的强化,“代码是否可以是否由 python 3.10 编译”作为直接偏好),以及 (4) 来自 OpenAI GPT4o 多模式功能的少量调优数据。

Get Started 开始使用:

HuggingFace 空间在线体验:https://huggingface.co/spaces/lllyasviel/Omost

本地部署文件夸克网盘下载:https://pan.quark.cn/s/67fe7c54801a

AIGC专区:
https://heehel.com/category/aigc

或者,您可以使用以下部署(需要 8GB Nvidia VRAM):

git clone https://github.com/lllyasviel/Omost.git
cd Omost
conda create -n omost python=3.10
conda activate omost
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python gradio_app.py

(请注意,Quant LLM 需要 bitsandbytes - 某些 9XX 或 10XX 或 20XX GPU 可能在运行时遇到问题。如果发生这种情况,只需使用我们的官方 Huggingface 空间。)

Screenshots 截图

(全部带有随机种子12345)

a ragged man wearing a tattered jacket in the nineteenth century:
十九世纪一个穿着破烂夹克的衣衫褴褛的男人:

Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片 Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片

 

the greatest escape after the apocalypse, the hope of all humanity:
末世后最大的逃亡,全人类的希望:

Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片 Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索