logo
2700
360
WeChat Login

作业交这里#271

Resolved
created 3 months ago
Edit

合格作业:完成ComfyUI仓库的搭建,完成高清放大工作流的搭建,成功生成自己心仪的图片
进阶作业:搭建一个用于训练lora的工作流并完成训练,分享lora并说明

pinned this issue
Edit history

1. 完成合格作业

1.1 基于flux2生成图片

项目启动仓库为https://cnb.cool/dockdockgo/pure-flux2
文生图实测:
e50a414d-610a-41cf-83eb-88e4b8d93eb3.png

1.2 修改flux2基础工作流,改出高清放大工作流

待放大图片:
a34212ce-55f4-460f-8997-740df8fb7386.png
高清放大后的图片:
ad135608-bf98-4218-b759-b5cdbe87f851.png

1.3 用Dockerfile从python:3.10构建支持了flux2的ComfyUI镜像

构建的Dockerfile为:https://cnb.cool/dockdockgo/pure-flux2-deploy/-/tree/main/.ide.temp
构建完成镜像的查看页面:https://cnb.cool/dockdockgo/pure-flux2-deploy/-/packages/docker/pure-flux2-deploy/catfish_image_comfyui_v0_3_75

1

作业:
1、文本生成图片
9cebdda1-e16f-4fc4-8803-d6934133a7c2.png
821f8ead-998a-45ee-bfd9-22d3d69d8015.png

2、图片高清放大工
20f8e6a7-b925-4957-81c0-abae8265a4a6.png
0d6aea39-0544-474e-a186-8df86453d5b7.png

1

1. 完成合格作业

项目启动仓库为https://cnb.cool/cnb-example137/learning-comfyui
1.1 文生图
7eaf8e82-988e-4ed5-a958-70b50d4e0835.png
1.2 高清放大工作流
5b55eeaa-15dd-48df-b501-35a8340ded58.png

1
Edit history

作业

https://cnb.cool/Tsukima/comfyui-lab

本实验采用的模型为Flux2-dev系列,以下为根据要求所做的实验结果:

1. 基础任务

1.1 文生图工作流

ae290846-dcbc-43b2-abf9-0d1c112397b0.png

涉及要素

  • 文生图整体工作流
    • 模型加载
    • 正反提示词
    • 采样器配置
    • VAE加载及解码
    • Latent缩放

1.2 图片高清放大

0ebdd5f3-753a-49bb-9ad4-0ede87c96268.png

涉及要素

  • 使用模型生成高清放大图

生成的图像

原图:

18b8f48b-5c6e-4226-9293-a44b3c5f6023.png
a25e8626-7bbf-4440-8e46-526977b32ee7.png

放大图:

8c4eea55-ba3e-4be8-88ef-3442544973ce.png
cdd2061c-b5a1-490b-9268-625175f01cee.png

镜像制品

位置: https://cnb.cool/Tsukima/comfyui-lab/-/packages/docker/comfyui-lab

启动方式

点击ComfyUI,启动!后,在终端执行python main.py --listen 0.0.0.0,按照端口服务点击进入ComfyUI界面

1

文生图

工作流

2f2a020f-69e4-47de-95f0-b3f01f9b4fde.png

高清放大

工作流

5d7622b9-5a0a-4a68-870f-4c8b9d0a3473.png

放大后
f7c9f088-3868-4563-9169-7e57aff5bf40.png

1

1,完成合格作业
ComfyUI仓库的搭建
https://cnb.cool/CHENTENGFEI/comfyui2046
文生图
5ec64869-8113-4391-92ec-c200ca6787d6.png

高清放大
1942b0e6-861a-4c22-bccd-496c2ea704a2.png

高清放大工作流截图
195e7fcc-2eda-4e8c-97d7-211fe9a063a7.jpg

一、作业项目

仓库地址:https://cnb.cool/smk2h/comfyui-demo
最终镜像:https://cnb.cool/smk2h/comfyui-demo/-/packages/docker/comfyui-demo
图像信息:可查看 作业
工作流实现:可查看作业

二、完成合格作业

1. 生成图片

ae0ff471-fdf8-4c88-9311-f0bba832de0e.png

2. 图片放大

ace38088-90fb-4ec0-9537-05ae2d2ba102.png

一、仓库:https://cnb.cool/ZYYH116/ComfyUI-zoom
制品:docker.cnb.cool/zyyh116/comfyui-zoom
二、生成图片(Z-Image还不错)
2c7a1d60-29cc-4f71-b310-17aba34193e1.png
7d276408-d1d6-4dcb-b0c9-f9c82bc11a1a.png
41ebf9e6-b9f2-4b91-a2c3-6c0f69aa865f.png
2897c90f-48d2-4df8-a6e4-054f3939b0c6.png
ec783349-f11c-49a0-ba18-d4bc806a6878.png
456f7ae2-69a2-4595-80e4-7b8057b46a74.png
56911803-88bc-416d-a3a1-d837a652b126.png
三、放大
5757bc35-7346-4a27-bd7d-a987f2da4eb3.png
18783ca9-5884-4aba-9b8d-5f6763aed948.png
09d26987-6ef4-4ae1-a0cd-b167c1878bec.png
fd16fee0-44fc-4fac-b13a-d93b419294a8.png
65334bbe-9100-40fc-af3e-bdc0ebb76199.png
fe1296b5-95b2-48e0-860b-d9ad0bb8140e.png

作业提交
https://cnb.cool/zero_ghost/ghostdragonzero/myconfigUI
直接运行就会打开confyui以及下载需要的模型
文生图使用的sd3.5 所以要使用对应的文本编码器否则会报错
7be81c50-5e4c-4612-91c3-6278b2e3c886.png

图片高清
laten方式 注意第二次采样器的噪声不能太高
cc04eeba-b469-472a-b2c6-d1f465e543d8.png

模型方式
8893f04d-81ea-4343-bfef-68d54da3a218.png

作业提交

  1. 代码仓库:https://cnb.cool/cnb-example-zhangzheng/comfyui_learn_zz
  2. 制品地址:docker.cnb.cool/cnb-example-zhangzheng/comfyui_learn_zz
  3. 文生图与放大图片工作流: b292187d-a681-4e34-9829-0381ade4351b.png
  4. 生成图: 72d3e8a7-3113-430f-b7dc-fa3be6c2e4fd.png
  5. 放大图:
68ea331d-48f8-4f74-ba0c-f1b1a8942679.png
Edit history

1. ComfyUI 仓库

https://cnb.cool/mxc108/learn/comfyui_dustdragon

1.1 ComfyUI 安装的 Dockerfile

https://cnb.cool/mxc108/learn/comfyui_dustdragon/-/blob/master/Dockerfile

1.2 ComfyUI Docker 镜像地址

docker.cnb.cool/mxc108/learn/comfyui_dustdragon:test


2. Flux1 生图仓库

https://cnb.cool/mxc108/learn/flux

2.1 Flux1-dev 文生图工作流

47e0c68d-f117-490c-a138-0ce33d30801c.png

2.2 生成图片

e1076a71-f5ae-4df2-a3e0-66c47fd6c9e3.png

2.3 放大图片工作流

3e0621ea-c6ed-47e3-aca6-343f765fa743.png

2.4 放大图片

54098356-de0b-4e1c-a467-9b16a5316c66.png

Edit history

2. 完成进阶作业

2.1. 工作流

构建镜像后,基于ComfyUI部署dockdockgo/comfyui-flux-trainer · (cnb.cool),创建flux1-dev的微调工作流:

2.2. 数据集

选择flux1-dev模型,经过一些提示词推理的探索,发现它不擅长绘画如下这种风格的图片。下面这种风格,简练语言概括的话,可以称为:带有马克龙彩笔效果的糖果风格水彩画

同名txt是调用了VLM的api进行图片推理,作为图片的标签。

数据集存放到modelscope或者hf的仓库里,下载到cnb的/root/ComfyUI/datasets里,并解压。

2.3. 训练参数

工作流里调整训练参数:

使用了最基础的参数,完成设置后,点击Run开始训练。

1.5小时后,完成训练:

前端检查点推理效果:

2.4. 训练结果

把训练结果复制到/workspace里方便其他同学下载和测试: https://cnb.cool/dockdockgo/comfyui-flux-trainer/-/tree/main/training-results

载入模型后,得到微调结果明显具备数据集的马卡龙卡通水彩风格了:

微调前后对比效果:

提示词无微调flux1-dev微调后的flux1-dev + lora
The illustratfen festures a character with short, darkblue hsir odorned with a purple hesdband decorsted with ...
a girl

作为对比,只使用flux1-dev模型的时候,推理结果没有数据集的风格:

使用最简单的a girl提示词做微调前后对比,可以明显看出微调后掌握了数据集的风格:

Edit history

基础作业

环境被回收导致未能截图文转图工作流,详细json工作流构建文件在data文件夹下
仓库
https://cnb.cool/www.star-dream.top/work
246c9935-35ca-407f-a5d3-9d0ce1876d00.png
24c0df7c-d303-42f6-a1fa-b4794534533e.jpegd77767d0-885e-4327-8aff-143d7542736f.png

flux文生图+图像放大工作流搭建

简单使用模型放大4倍

23aa9497-9074-4b39-8b79-6c59aef21e1a.png

flux lora训练工作流

  1. 使用ComfyUI-FluxTrainer训练节点的示例工作流。我尝试训练人物lora,从第五人格游戏中naib角色官方不同皮肤海报作为训练集。
6cbfb09b-52b0-44f4-b64c-45adeae40112.png
  1. 预处理是等比例缩放到1024内,然后使用tag工作流进行批量打标,Joy Caption Two节点。对每个皮肤添加了皮肤名字作为触发词。
e7873e95-ffab-4064-9ecd-a7df35d6a8ca.png
  1. 训练训练人物触发词为:character Naib, Character with buttons for eyes,进行训练,使用多分辨率训练3000 step。
72350d88-13c9-46ef-8f0f-702ef6a285d2.png
  1. 使用训练好的lora, 加载到原来flux文生图工作流中,可以通过触发词,皮肤名称和描述来生成不同姿态和场景的人物形象。
da966530-e462-47f1-ac2f-459dd132dee7.png 2f4c6bd4-6c88-4855-9a5b-26fddb0fcb98.png

仓库地址:https://cnb.cool/morningstar014/ComfyUI-flux-trainer

Edit history

完成合格作业

基于Z-Image-Turbo模型进行文生图,并放大图片

  1. 项目仓库:https://cnb.cool/zhqi88/comfyui-project
  2. 文生图&放大图片工作流 839eb7e6-572b-42fa-a854-746d9c44442e.png
  3. 生成原图&放大图片 77676e07-f201-42d8-8758-ca7df5e063b6.png

1024 * 1024
d88bb8e9-47c2-4268-b37c-be38604b035b.png
4096 * 4096

Resolved ISSUE
unpinned this issue
Assignee
None yet
Label
None yet
Priority
None yet
Time period
-
Property
Add custom properties to record and label key information
Participant