
原站网页截图,页面可能随时间更新。
- 作者:radames
- 分类:AI 绘图
- 名称:Real-Time Latent Consistency Model Text to Image
- 来源:Hugging Face Spaces
Real-Time Latent Consistency Model Text to Image 面向需要快速尝试图像生成与编辑流程的用户,将潜在一致性模型接入 Diffusers,并通过实时演示方式呈现生成过程。它既可根据文字描述生成图像,也可围绕输入图像和边缘控制进行调整。
核心功能
应用提供 Text to Image 和 Image to Image 两类基础流程:前者根据文字描述生成图像,后者以已有图像为基础进行变化。另有基于 ControlNet Canny 的图像到图像流程,可利用输入图像的边缘信息辅助生成。
在 LCM 基础上,应用还提供 LCM-LoRA 相关管线,包括文本生成图像以及结合 ControlNet Canny 的图像到图像方案,并分别覆盖 SD15 和 SDXL 选项。
适用任务
如果任务重点是从概念或场景描述快速得到视觉草图,可以选择文本生成图像流程;如果已经有构图、草图或参考图,并希望在保留部分视觉基础的同时继续变化,可以考虑图像到图像流程。
需要依据轮廓、线稿或边缘结构控制画面时,可使用 ControlNet Canny。对希望缩短推理步骤、快速反复试验的场景,LCM-LoRA 管线可能更合适;使用 SDXL 时,则应考虑其以 1024×1024 图像运行并且速度相对更慢这一点。
使用思路
可先从 Text to Image 开始,用较明确的文字描述确定主题和构图方向;当结果需要沿用某张图的结构时,再切换到 Image to Image。若画面需要更稳定地遵循轮廓关系,可进一步尝试 ControlNet Canny。
对于同一创意的快速迭代,可以优先考虑 LCM-LoRA 方案,并根据任务对图像尺寸和速度的要求选择 SD15 或 SDXL。应用也支持通过管线配置切换不同工作流,适合需要在多种生成方式之间进行比较的使用场景。
- 先选择文本生成图像、图像到图像或 ControlNet Canny 管线。
- 文本生成图像时输入画面描述;图像到图像或 ControlNet 流程时准备对应的输入图像。
- 需要快速迭代时尝试 LCM-LoRA,并结合任务需求选择 SD15 或 SDXL。
- 根据生成结果调整描述、输入图像或控制方式,重复进行创作。
运行与部署
该项目提供本地运行方式,环境要求包括 CUDA、Python 3.10,以及 Node 19 以上;资料同时列出配备 M1、M2 或 M3 芯片的 Mac,以及 Intel Arc GPU 的运行条件。项目也提供 Docker 运行方式,但需要 NVIDIA Container Toolkit。
本地部署时可以通过管线参数选择具体流程,也可以设置会话超时、队列大小、安全检查器、Torch Compile 和轻量自动编码器等环境变量。使用移动端 Safari 访问本地服务时,服务端需要通过 HTTPS 提供服务。
这个应用支持哪些主要生成方式?
支持文本生成图像、图像到图像,以及基于 Canny 的 ControlNet 图像到图像流程;部分流程还提供 LCM-LoRA 版本。
是否需要摄像头?
演示说明要求使用摄像头运行该 Demo。
SD15 和 SDXL 应该如何选择?
可根据任务对速度和图像尺寸的需求选择。资料指出,SDXL 以 1024×1024 图像运行,因此比 SD15 更慢。
可以在本地部署吗?
可以。项目提供 Python、前端构建和 Docker 运行方式,但需要满足相应的软件、硬件与容器环境要求。