ComfyUI搭建AI绘画工作流实战

真实场景：一个需求让我从WebUI转投ComfyUI

2024年3月，公司要批量生成1000张产品图，每张需要不同角度、不同光照。我用SD WebUI跑，一张图平均4.2秒（RTX4090，1024x1024，50步DPM++ 2M Karras）。

算一下：1000张 × 4.2秒 = 4200秒 ≈ 70分钟。加上手动调参、重试，实际花了3小时。

同事用ComfyUI，同样配置，一张图2.5秒。1000张只要41分钟。差距在哪？节点式工作流+显存复用。

我当场决定迁移。这篇文章就是迁移过程的全记录。

问题：为什么SD WebUI慢？

SD WebUI（v1.9.0）的问题：

• 每次生成都重新加载模型到显存，即使模型没变
• UI渲染占用CPU资源，尤其是ControlNet多节点时
• 批量生成时，每张图独立处理，没有流水线优化
• 内存泄漏：跑200张后，显存占用从8GB涨到22GB（RTX4090 24GB），直接OOM

ComfyUI（v0.2.7）的解决思路：

• 模型常驻显存，只加载一次
• 节点图编译成执行计划，只计算变化部分
• 批量生成用队列+流水线，GPU利用率95%以上
• 显存管理：每步释放中间张量，峰值占用稳定在12GB

方案对比：ComfyUI vs SD WebUI

测试环境：

• CPU: Intel i9-13900K
• GPU: NVIDIA RTX 4090 24GB
• RAM: 64GB DDR5
• OS: Ubuntu 22.04 LTS
• Python: 3.10.12
• PyTorch: 2.1.2+cu121
• CUDA: 12.1

测试参数：

• 模型: SDXL 1.0 base
• 采样器: DPM++ 2M Karras
• 步数: 50
• CFG Scale: 7.0
• 分辨率: 1024x1024
• 批量: 4张

完整实现：从安装到工作流

1. 安装ComfyUI

# 克隆仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

# 创建虚拟环境
python3 -m venv venv
source venv/bin/activate

# 安装依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt

# 下载模型（以SDXL为例）
mkdir -p models/checkpoints
wget -O models/checkpoints/sdxl_base.safetensors https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors

# 启动
python main.py --listen 0.0.0.0 --port 8188

2. 基础工作流JSON

这是一个文生图工作流，包含：模型加载、正向提示词、负向提示词、采样器、VAE解码、保存图像。

{
  "last_node_id": 10,
  "last_link_id": 12,
  "nodes": [
    {
      "id": 3,
      "type": "CheckpointLoaderSimple",
      "pos": [100, 100],
      "size": [315, 106],
      "inputs": {
        "ckpt_name": "sdxl_base.safetensors"
      }
    },
    {
      "id": 6,
      "type": "CLIPTextEncode",
      "pos": [500, 100],
      "size": [422, 180],
      "inputs": {
        "text": "a beautiful landscape, mountains, sunset, highly detailed, 8k",
        "clip": ["3", 1]
      }
    },
    {
      "id": 7,
      "type": "CLIPTextEncode",
      "pos": [500, 350],
      "size": [422, 180],
      "inputs": {
        "text": "blurry, low quality, distorted, ugly",
        "clip": ["3", 1]
      }
    },
    {
      "id": 5,
      "type": "KSampler",
      "pos": [1000, 200],
      "size": [315, 262],
      "inputs": {
        "seed": 42,
        "steps": 50,
        "cfg": 7.0,
        "sampler_name": "dpmpp_2m",
        "scheduler": "karras",
        "denoise": 1.0,
        "model": ["3", 0],
        "positive": ["6", 0],
        "negative": ["7", 0],
        "latent_image": ["8", 0]
      }
    },
    {
      "id": 8,
      "type": "EmptyLatentImage",
      "pos": [1000, 50],
      "size": [315, 106],
      "inputs": {
        "width": 1024,
        "height": 1024,
        "batch_size": 1
      }
    },
    {
      "id": 9,
      "type": "VAEDecode",
      "pos": [1400, 200],
      "size": [210, 46],
      "inputs": {
        "samples": ["5", 0],
        "vae": ["3", 2]
      }
    },
    {
      "id": 10,
      "type": "SaveImage",
      "pos": [1700, 200],
      "size": [210, 46],
      "inputs": {
        "images": ["9", 0],
        "filename_prefix": "ComfyUI"
      }
    }
  ],
  "links": [
    [3, 3, 0, 5, 0, "MODEL"],
    [4, 3, 1, 6, 1, "CLIP"],
    [5, 3, 1, 7, 1, "CLIP"],
    [6, 6, 0, 5, 1, "CONDITIONING"],
    [7, 7, 0, 5, 2, "CONDITIONING"],
    [8, 8, 0, 5, 3, "LATENT"],
    [9, 5, 0, 9, 0, "LATENT"],
    [10, 9, 0, 10, 0, "IMAGE"],
    [11, 3, 2, 9, 1, "VAE"]
  ]
}

3. 批量生成脚本

用Python调用ComfyUI API，批量生成100张图。

import json
import requests
import time
import os

# ComfyUI API地址
API_URL = "http://localhost:8188"

def queue_prompt(workflow):
    """发送工作流到队列"""
    payload = {
        "prompt": workflow,
        "client_id": "batch_generator"
    }
    response = requests.post(f"{API_URL}/prompt", json=payload)
    return response.json()["prompt_id"]

def get_history(prompt_id):
    """获取生成结果"""
    response = requests.get(f"{API_URL}/history/{prompt_id}")
    return response.json()

def generate_batch(workflow_template, seeds, output_dir):
    """批量生成"""
    os.makedirs(output_dir, exist_ok=True)
    total = len(seeds)
    start_time = time.time()
    
    for i, seed in enumerate(seeds):
        # 修改工作流中的seed
        workflow = json.loads(json.dumps(workflow_template))
        workflow["5"]["inputs"]["seed"] = seed
        
        # 提交任务
        prompt_id = queue_prompt(workflow)
        
        # 等待完成
        while True:
            history = get_history(prompt_id)
            if prompt_id in history:
                break
            time.sleep(0.1)
        
        # 获取输出
        outputs = history[prompt_id]["outputs"]
        for node_id, node_output in outputs.items():
            for img in node_output.get("images", []):
                img_url = f"{API_URL}/view?filename={img['filename']}&subfolder={img['subfolder']}&type={img['type']}"
                img_data = requests.get(img_url).content
                with open(f"{output_dir}/img_{i:04d}.png", "wb") as f:
                    f.write(img_data)
        
        elapsed = time.time() - start_time
        print(f"[{i+1}/{total}] Seed {seed} done. Elapsed: {elapsed:.2f}s")
    
    total_time = time.time() - start_time
    print(f"Total: {total} images in {total_time:.2f}s, avg {total_time/total:.2f}s per image")

# 加载工作流模板
with open("workflow.json", "r") as f:
    workflow_template = json.load(f)

# 生成100个随机种子
import random
seeds = [random.randint(0, 2**32 - 1) for _ in range(100)]

# 执行批量生成
generate_batch(workflow_template, seeds, "output_batch")

4. 高级工作流：ControlNet + 图生图

{
  "last_node_id": 15,
  "nodes": [
    {
      "id": 3,
      "type": "CheckpointLoaderSimple",
      "pos": [100, 100],
      "inputs": {"ckpt_name": "sdxl_base.safetensors"}
    },
    {
      "id": 11,
      "type": "LoadImage",
      "pos": [100, 300],
      "inputs": {"image": "input_sketch.png"}
    },
    {
      "id": 12,
      "type": "ControlNetLoader",
      "pos": [100, 500],
      "inputs": {"control_net_name": "control_v11p_sd15_canny.pth"}
    },
    {
      "id": 13,
      "type": "CannyEdgePreprocessor",
      "pos": [400, 300],
      "inputs": {
        "images": ["11", 0],
        "low_threshold": 100,
        "high_threshold": 200
      }
    },
    {
      "id": 14,
      "type": "ControlNetApply",
      "pos": [700, 400],
      "inputs": {
        "conditioning": ["6", 0],
        "control_net": ["12", 0],
        "image": ["13", 0],
        "strength": 0.8
      }
    },
    {
      "id": 5,
      "type": "KSampler",
      "pos": [1000, 300],
      "inputs": {
        "seed": 42,
        "steps": 50,
        "cfg": 7.0,
        "sampler_name": "dpmpp_2m",
        "scheduler": "karras",
        "denoise": 0.7,
        "model": ["3", 0],
        "positive": ["14", 0],
        "negative": ["7", 0],
        "latent_image": ["8", 0]
      }
    }
  ]
}

5. 性能监控脚本

#!/bin/bash
# 监控GPU使用率
while true; do
    clear
    echo "=== GPU Monitor ==="
    nvidia-smi --query-gpu=index,temperature.gpu,utilization.gpu,memory.used,memory.total --format=csv,noheader
    echo ""
    echo "=== ComfyUI Process ==="
    ps aux | grep "python main.py" | grep -v grep
    sleep 2
done

效果数据

实测结果（RTX4090, SDXL, 50步, 1024x1024）：

关键发现：

• ComfyUI的显存管理是线性增长，WebUI是指数增长
• 批量越大，ComfyUI优势越明显（流水线优化）
• ControlNet场景下，ComfyUI原生节点比WebUI插件快40%
• ComfyUI的首次加载时间比WebUI快34%（模型缓存机制）

避坑指南

我踩过的坑，直接列出来：

• 坑1：模型路径错误 - ComfyUI的模型目录是models/checkpoints，不是models/Stable-diffusion。我一开始把SDXL模型放错目录，报错FileNotFoundError。解决方案：用软链接ln -s /path/to/models models。
• 坑2：CUDA版本不匹配 - PyTorch 2.1.2需要CUDA 12.1，但我系统装的是CUDA 11.8。运行时报CUDA error: no kernel image is available for execution on the device。解决方案：pip install torch==2.1.2+cu121 torchvision==0.16.2+cu121 --index-url https://download.pytorch.org/whl/cu121。
• 坑3：VAE解码OOM - 批量生成时，VAE解码节点如果batch_size>4，显存直接爆。解决方案：在VAEDecode节点前加一个LatentUpscale节点，把latent缩小再解码，或者用TAESD解码器（轻量级VAE）。
• 坑4：ControlNet模型不兼容 - SDXL的ControlNet模型和SD1.5的不通用。我用SD1.5的Canny模型加载到SDXL工作流，生成全黑图。解决方案：下载SDXL专用ControlNet模型，如control-lora-canny-rank128.safetensors。
• 坑5：API返回空结果 - 用Python脚本调用API时，get_history返回空字典。原因是prompt_id拼写错误（大小写敏感）。解决方案：打印response.json()调试，确认字段名。
• 坑6：工作流JSON格式错误 - 手动编辑JSON时，少写一个逗号或引号，ComfyUI直接报JSONDecodeError。解决方案：用jsonlint验证：cat workflow.json | python -m json.tool。
• 坑7：采样器参数不匹配 - SDXL不支持所有采样器。比如euler_a在SDXL上生成噪点图。解决方案：用官方推荐的dpmpp_2m或dpmpp_sde。
• 坑8：多GPU配置 - 双卡RTX4090时，ComfyUI默认只用卡0。解决方案：启动时加参数--gpu-only 0,1，但实测多卡提升不大（通信开销），建议单卡跑。

原理：为什么ComfyUI快？

核心三点：

• 节点图编译 - ComfyUI把工作流编译成有向无环图（DAG），只计算变化节点。比如你只改seed，模型加载、CLIP编码等节点跳过，直接复用缓存。
• 显存池化 - 每步释放中间张量，用torch.cuda.empty_cache()回收碎片。WebUI是每个节点独立申请显存，不释放。
• 流水线并行 - 批量生成时，ComfyUI把VAE解码和采样器流水线化：采样器生成第2张图时，VAE同时解码第1张图。GPU利用率从WebUI的60%提升到95%。

数据说话：用nvidia-smi监控，ComfyUI的GPU利用率稳定在95-98%，WebUI只有60-75%。

总结

ComfyUI不是银弹，但如果你需要批量生成、复杂工作流、或者显存不够，它比WebUI强太多。我的建议：

• 单张玩玩用WebUI
• 生产环境用ComfyUI
• 两者可以共存（不同端口）

代码都在上面，直接复制跑。有问题去ComfyUI GitHub Issues搜，别问我。