FLUX全套模型及其工作流

FLUX模型简介

8月1这天开源文生图模型迈入了有一个大里程碑，黑森林实验室（一家已完成3100万美元的种子轮系列融资）的12B文生图大模型：FLUX震撼发布。这是迄今为止最大的文生图开源模型。这也是目前高质量的文生图模型，FLUX.1文生图模型套件，为文本到图像合成定义了新的最先进水平，在图像细节、提示遵循、风格多样性和场景复杂性方面树立了新的基准标准。在可访问性和模型能力之间取得平衡，FLUX.1一共有三个变体：FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]：

• • FLUX.1 [dev] ：基础模型，开源且拥有非商业许可，供社区在此基础上进行构建。https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
• • FLUX.1 [schnell] ：基本模型的精简版本，蒸馏版本，23.8 GB，运行速度最高可提高 10 倍。Apache 2 许可。https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.sft
• • FLUX.1 [pro] ：官方闭源版本，可以通过 API提供服务使用。API地址：https://replicate.com/black-forest-labs/flux-pro、https://docs.bfl.ml/

• FLUX模型评估

  FLUX.1 [pro] 和 [dev] 在以下每个方面超越了流行的模型，如 Midjourney v6.0、DALL·E 3（HD）和 SD3-Ultra：视觉质量、提示遵循、尺寸/方面变化、排版和输出多样性。FLUX.1 [schnell] 是迄今为止最先进的几步模型，不仅超越了其同类竞争对手，还超越了像 Midjourney v6.0 和 DALL·E 3（HD）这样的强大非蒸馏模型。FLux模型专门针对预训练中保持整个输出多样性进行了微调。与当前的最先进技术相比，它们提供了显著改进的可能性，如下所示。

  Flux ComfyUI安装

  ComfyUI的最新版本已支持Flux模型的运行，仅需将ComfyUI更新到最新版本即可。ComfyUI官方文档：https://comfyanonymous.github.io/ComfyUI_examples/flux/。

  • • 需要下载模型Flux1-schnell.sft放置到目录ComfyUI/models/unet/ 下。下载地址：https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.sft。显存不足24，尽量采用8为量化版本：https://hf-mirror.com/maximsobolev275/flux-fp8-schnell/resolve/main/flux1-schnell_fp8_unet.safetensors?download=true
  • • 需要下载VAE模型ae.sft放置到目录ComfyUI/models/vae 下。下载地址：https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.sft
  • • 需要下载T5文本编码模型t5xxl_fp8_e4m3fn.safetensors放置到目录ComfyUI/models/clip 下。下载地址：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

以上模型你如果懒得去一个一个下载，我这里直接有下载好的百度网盘链接。点击右侧下载按钮即可下载

重点来了，大多数人的电脑配置只有8GB或者更小的显存，那么运行这套工作流势必会爆显存。那么怎么解决呢？

1.comfyui秋叶整合包为例，关闭显存智能优化

2.使用修剪版的Flux1-fp8 11G版模型，亲测8GB显存可以运行。

3.把comfui更新到最新版本。

拖入工作流即可加载使用。如有未安装的节点插件，在管理器中补全重启comfyui即可。

经过测试貌似识别不到中文，所以还是先用英文吧