本地 AI 出图、出片:为什么现在绕不开 ComfyUI
魔当实验室 · 2026年10月
本文是"AI技术科普"系列第六篇。《本地 AI 工具的四层》讲的是语言模型那条线,这一篇把同样的分层思路用到图像与视频上;《模型文件到底从哪来》里"软件不产生模型,模型文件才是资产"那句,在这里有一个对应物。不评测、不排名、不放下载和注册链接。
AI技术发展很快,文中提到的工具、模型和数据反映的都是当前阶段的情况,口径均为 2026 年 10 月查询,具体功能与授权条款以各项目官网与其代码仓库、模型仓库为准。
先把一个前提纠正过来:这一层比的不是画质
很多人选工具时问的第一个问题是"哪个出图更好看"。这个问题问不出答案,因为画质不在这一层。同一个模型文件摆在任何界面里跑,出来的东西是一样的——决定画面水平的是那个文件(以及你能装下它多大的版本),决定体验的是界面。
所以魔当实验室建议把选型问题换成四个能问出答案的:这个新模型多久能用上、这次的结果下次能不能原样重复、我这台机器的显存被榨得多干、跑错的时候我看不看得见中间步骤。
这四条也解释了图像和视频这一层过去两年最大的一次重心转移:为什么新放出的模型几乎都能在这一个软件里跑,而另外几个曾经很流行的界面却越来越常出现"加载不了"。
ComfyUI图片工作流模板
三条路线,各站在哪里
| 路线 | 长什么样 | 强在哪 | 代价 | 适合谁 |
|---|---|---|---|---|
| 节点图(ComfyUI 是这一类的代表) | 一张大画布,每个方块管一件事,用线连起来 | 新模型接得最快;每一步摊在眼前,能重复、能嵌进自动化 | 第一次看见会劝退;东西多了要自己管 | 要把一件事稳定重复很多次的人 |
| 表单式界面(A1111、Forge、Fooocus 属这一类) | 一个页面,参数分区摆好,填空点按钮 | 上手最快,不用理解流程 | 新模型要等;改流程等于改软件本身 | 只想填提示词出图的人 |
| 插件与装机管理器 | 生成能力嵌进你已经在用的软件(画布类、剪辑类、三维类),或者用一个管理器把上面两类统一装好 | 不用换工作习惯;装环境这一步被外包了 | 能做的事受宿主软件限制 | 已经在用某个创作软件、不想为 AI 换地方的人 |
这张表里没有名次,只有方向。第二条路线的现状可以用代码仓库上查得到的发版时间做锚点(2026 年 10 月 25 日查询):A1111 最后一次正式发布是 2025 年 2 月;原作者写的那个 Forge 仓库推送停在 2025 年中;Fooocus 的正式版本停在 2024 年 8 月。而同期 ComfyUI 在十月中旬连着发了两个版本,另一家非节点路线的 Invoke 也在同一周发了新版本。这几个老仓库的星标数依然很高——还有大量人在用,和它们不再跟着新模型前进,这两件事同时成立。表单这条路上现在主要靠社区自发维护的后继项目撑着的,规模小,但更新还在继续。
为什么新模型几乎都先落到这里
这是本文最想讲清楚的一段。答案不是"社区更热情",是四个能落到实处的工程原因。
第一,权重的摆放方式刚好对得上它的读法。 模型实验室放出来的开源权重,通常是按角色分成几堆的独立文件:负责算的主干、负责读你文字的文本编码器、负责把结果变回像素的解码组件(VAE)。原因是权重托管平台对单个文件有体积上限,一个几十 GB 的模型必然被切成多片。而节点式界面本来就是三个不同的加载方块各读一类文件——它的内部结构和厂商的发布结构是同一个形状。老一代表单界面则习惯一个"什么都打包在一起"的完整文件,于是每来一个新架构,都得先有人自愿做一次合并与改写,这一步卡住了大量尝试。
第二,框架方自己下场重新打包权重。 现在只要是一个受关注的模型发布,官方组织会在权重托管站上开一个对应的重打包仓库:目录按主干、文本编码器、解码组件、风格模块(LoRA)、控制用的视觉模型分门别类放好,通常还附上现成的示例工作流,用户照着目录把文件放进本地对应位置就能用。Wan 系的视频模型、Z-Image、MOSS-Image、Qwen-Image、Lightricks 的 LTX、MiniMax 的视频模型,走的都是这一条路(2026 年 10 月查询)。上周刚放出的 MOSS-Image 是个现成的例子:它在社区里的下载几天内就冲到百万量级(公开报道口径),而大多数人第一次跑通它,靠的就是这个重打包仓库里现成的目录结构和示例流程。这件事的实际含义是:"我能不能跑这个新模型"被从"要不要有人先做转换"变成了"要不要点一下下载"。
第三,"开源当天就支持"已经成了发布稿里的标配一行。 Qwen-Image 2.1 这样一个 7B、把文生图、改图和透明通道输出合进同一个模型的图像权重放出那天,支持声明里同时列了五六个框架,其中就有这一层;MiniMax H3 这种 33B、原生带同步音轨的视频模型放出时,官方支持里直接给了文生视频、图生视频、首末帧控制、参考图四套模板,还同步放出了剪枝量化版让消费级显卡也能开跑。反过来看厂商的算盘:要在发布当天让本地用户真的玩起来,接进这一层是投入产出最高的那一条路,因为它不用等界面改版。厂商愿意先来,生态就一直保持领先一个身位。
第四,显存和量化是在框架层解决的。 大模型放不进显存时的分块搬运、8bit 与 4bit 的低精度加载、GGUF 这类给本地用的压缩格式,都由核心和一批社区仓库统一维护。所以"12GB 显存跑十几 B 的视频模型""量化版在入门显卡上出片"这类事情不需要每个应用各实现一遍——《参数量、量化、显存占用是什么关系》里讲的压缩与搬运,在图像视频这一侧同样是框架替你做掉的。
一个节点有多好写,开发者为什么愿意来
如果说上一段解释的是"厂商为什么先来",这一段解释的是"为什么它总能接住厂商没顾及的边角"。
加一个新方块的成本极低。 一个节点本质就是一个类,声明三件事:我吃什么类型的东西、我吐什么类型的东西、我调用哪个方法执行;再补一行把它注册进去。文件放进插件目录,程序启动时自动扫描加载——不用改核心代码,不用编译,不用等谁批准。写一个把图片反色的方块,量级是几十行。新一些的接口还把图像、中间状态、视频这类数据做成了带校验的标准类型,出错时能明确指出是哪个方块的哪个输入不对。
这条低门槛直接决定了生态的形状:任何一个实验室、任何一个懂几行 Python 的技术美术,都能把自己缺的那一小步做成方块,第二天就有别人拿去用。官方页面给的一个数量级是六万多个自定义节点、数千个社区工作流(厂商公布口径,2026 年 10 月查询,当数量级参考)。这个数量和"它最快接住新模型"不是两个优点,是同一件事的两面。
还有一条更容易被忽略、但对工作室最重要的机制:画布上那张图本身就是接口。工作流存下来是一个 JSON 文件,同一份文件既能加载进界面里给人用,也能原样作为本地接口的一次请求提交出去。也就是说设计师搭好的流程不改结构就能接进批量脚本、接进生产管线——这是"个人玩具"和"能交付的产线"的分界点,也是团队愿意为此付学习成本的原因。再叠上官方的命令行工具、带版本管理和安全扫描的节点注册表、以及把闭源服务也接进同一张图的合作节点(业内已有把各家云端图像与视频服务、三维生成当成节点接进来的做法),这一层事实上变成了视觉生成的通用执行环境:图、片、音频、三维,都能出现在同一张画布上。连《什么是 MCP》里讲的那类智能体也一样——它自己不画图,它做的是把"我想要一张什么"翻译成对这一层的一次调用,剩下那一大串节点还是原来那一串。
对设计师,它的吸引力其实是更具体的四件事:流程是文件,能传——可以存成 JSON,甚至直接藏在一张成图的附加信息里,别人拖进去就能跑,不用问你"你装了什么插件、参数怎么调";现成的比想象多——官方模板加上社区工作流站,多数人的日常是下载别人的流程、换提示词换尺寸;复杂度可以藏起来——把两百个方块的图只露出两三个输入项,需要时再切回完整视图,"用别人的"和"自己搭"是同一个软件里的两个视图;不用换地方工作——画布类绘图软件、剪辑与三维工具里都有把这一层当后端调用的插件。
魔当实验室的看法是:说"节点图太难"已经不是一个准确的评价。真正难的从来不是读一张图,而是配环境、找文件、补插件——而这三件事恰好是最近两年被处理得最多的部分。
图片与视频,现在是同一个软件
这是这一层这两年最大的变化:本地做图和本地做片用的是同一个软件、同一套模型目录。差别只在于你要哪种输出,而输出类型决定你的机器要承多大的活。
先说正在发生什么。图像这一侧,FLUX.3 的 Image Klein、Qwen-Image 2.1、MOSS-Image 这批新模型有个共同点:生成和改图合在同一个权重里,能一次喂进去多张参考图,而且用语言模型来读你写的提示词(所以官方建议写成整段描述而不是堆关键词,这也是两年前的教程突然失灵的原因)。视频这一侧,社区在盘点 2026 上半年时的判断是"开源视频模型开始卷本地可用"——先保证能在消费级显卡上跑起来,再谈画质天花板。两件事合起来的结果就是:它们不再是两个软件,而是同一个软件里的两类流程。
下面是现在本地最常遇到的那批开源模型(两张表都大致按"从新近放出到上一代"排列,不是名次,也不是推荐;口径为 2026 年 10 月查询;同一家不同档位的授权可能完全不同,一律以仓库 LICENSE 为准):
| 图像方向 | 现在是什么位置 | 本地时的常见感受 |
|---|---|---|
| FLUX.3 与它的轻量档 Image Klein | 2026 年 10 月中旬新放出的开放权重档,5.6B 左右,出图与改图合一、能吃多张参考图 | 量化到 8bit 后 8GB 级别显存可跑,原生高分辨率,社区实测是"几秒一张"的量级;中文招牌和长句排版仍会写坏 |
| Qwen-Image 2.1(含 Turbo 蒸馏版) | 把文生图、图片编辑、带透明通道的输出合进同一个模型,中文文字渲染是它被提得最多的一点 | 7B 量级,主流显卡能跑;蒸馏版八步左右出图、速度快,代价是细节上限让位给速度 |
| MOSS-Image | 2026 年 10 月中旬由 OpenMOSS 团队与模思智能放出的 5B 文生图,一次给了 Base 和 SFT 两个版本,许可宽松(公开信息为 Apache 2.0,可商用) | 放出没几天就在社区站上冲到百万量级下载(公开报道口径),官方重打包仓库和示例流程已经就位;主打写实、插画和带文字的排版图,还能用结构化数据指定版面 |
| GLM-Image、ERNIE-Image、LongCat-Image、HiDream、Ideogram 4、Krea 2 等 | 从 2025 年底到 2026 年陆续放出的开放权重,多数主打中英文字渲染、海报排版与编辑一致性 | 体量多在几 B 到 8B 这一档;工作流与教程还在补齐,个别档位要先同意条款才能下载 |
| Z-Image | 6B 档,以快和门槛低在本地用户里流传很广 | 低显存用户的常见起点,人像与风格化流程用它的人多 |
| HunyuanImage 3.0 | 能力上限高的一类原生多模态模型,还放了带推理的版本和蒸馏版 | 体量大,官方本地示例默认面向多卡,不适合从它起步 |
| Stable Diffusion 1.5 / SDXL / SD3.5 | 比现在的新架构早了两三代的主干,现在仍是存量流程里最常见的一档 | 老机器友好、配套模块最多;画质、画面内文字与新架构支持都不是它的强项 |
最后那一行值得多说两句,因为到今天仍然有大量的人是从它入门的,而且它当年赢的原因和现在掉队的原因其实是同一件事的两面:厚到没人能整体替换的存量,也正是让它换不了新结构的那份包袱。
当年大家为什么都往它身上堆东西。 Stable Diffusion 1.5 是 2022 年下半年放出来的,那会儿能玩的文生图要么是在网页后面排队、不给文件的闭源服务,要么根本装不进家用显卡,它是唯一一个"下载下来就能在自己电脑上跑、还能改"的可用模型。而且它小——主干不到 2GB,一张 8GB 显存的卡就够,很多人那台本来只用来打游戏的电脑一下就变成了出图机器,这是它能铺开的第一原因。真正让它变成生态的是一次用法上的发现:只要拿几十张图给它训一个小补丁(也就是 LoRA),就能固定住一张脸、一种画风、一套服装。于是"画师自己的画风""某个角色的脸""某种材质"全都做成了可下载的小文件,别人下一份挂上去就能用——社区站上那几十万个风格模块,绝大多数是围着 1.5 和 SDXL 做的,这个存量到今天还在被人挂着用。另一半是 ControlNet——一套把线稿、人体姿态、深度图变成硬约束的控制模块:它让"按线稿上色""按姿态摆姿势""按景深构图"变成标准动作,画师第一次能把出图塞进自己的流程里,而不是抽奖似地换种子。还有一件看不见的东西:它是第一批"人人都写教程"的模型,今天还在用的那套说法——步数、采样器、提示词权重、负面提示——全是围绕它定型的,后来人学的时候照抄了这套词。SDXL 是这一族的放大版,分辨率和画质高一档,代价是吃显存,很多人当年的分工就是"1.5 练脸和画风、XL 出终稿"。到 SD3.5,官方换了新架构、想把文字理解也接进来,构图指令跟随和画质都更好,但社区没有跟着搬过去——换架构意味着手上那一大堆 LoRA 和控制模块全部作废,训练工具和流程模板都得重做。一个模型真正开始老去,往往不是画质输给别人,而是围绕它的成本突然变高了。
现在为什么不再把它当首选。 上面那套积累有多厚,它的结构假设就有多难改:这一族的流程是"一个完整权重 + 一段关键词提示词 + 一个采样器",而今天的要求是"生成和改图同一个模型、能喂参考图、用整段自然语言描述画面",这两件事对不上。落到体感上就是三个具体的坑:画面里的文字基本不能用,尤其中文,招牌和标题经常是扭曲的笔画;想改一张已有的图,只能靠局部重绘那一套补丁,而不是模型本身会改;新架构的能力也不会从天而降装进一个老权重里,这一族的模型早就停止迭代了,能被更新的只剩下加载它的软件——而跟进最勤的那些软件,注意力早已放到前面那些新模型上。所以它现在更像一个存量资产很厚的老平台:还能跑,仍然好用,但新项目不再从它起步。
| 视频方向 | 现在是什么位置 | 本地时的常见感受 |
|---|---|---|
| MiniMax H3 | 2026 年放出的一档,33B、原生带同步音轨,发布当天就有本地支持 | 剪枝量化版把门槛压进消费级显卡,代价是慢、访存压力大 |
| LTX-2(以及它的 2.3、2.5 迭代) | Lightricks 的音视频一起出的一档,已进核心并另有官方配套节点,厂商还放了能本地跑的独立程序 | 速度是它的卖点,量化后 8GB 级别可跑,适合反复试镜头 |
| MAGI-2 Preview | MoE 架构,常被当成当下开源视频画质上限的一档 | 24GB 起步,完整权重需要多卡 |
| Wan 2.1 / 2.2 | 2025 年放出的世代,但生态最厚的一档:宽松许可(Apache 2.0),社区量化版和模板都最多 | 小档位 8GB 级别能起步,高画质档要 16–24GB;一段 5 秒片子在旗舰消费级卡上是分钟量级 |
| HunyuanVideo 1.5 | 同样是 2025 年放出的轻量化路线,画面电影感常被提到 | 定位在"同画质更好装",本地流程已就位 |
| FramePack、CogVideoX、Mochi、Open-Sora、SkyReels | 再往前一代的本地视频路线,教程和流程都还在 | 还能跑,但新模型不再沿着它们的技术路线走 |
| VACE 一类控制流程、Lucy-Edit 一类改片流程 | 不算主干模型,是接在主干上的控制与改片支线 | 说明"改一段片子"在本地也是同一种玩法 |
视频这边要多解释一句"为什么把 2025 年放出的两个排在后面却仍然留着":判断一个视频模型在本地好不好用,看的不只是它发布时的画质,还有围绕它的社区改造量。Wan 那两个版本正因为放出得早、许可又宽松,量化版、显存优化版、图生视频与首末帧控制的模板都已经补齐,很多人"第一次本地出片"用的还是它;HunyuanVideo 1.5 类似,它主打的就是"同等画质下更容易装下"。而新近放出的那几家在能力上更靠前,配套流程往往还要再等几个月——这正是下面那句提醒的具体所指。
输出类型决定你要承多大的活,这一点用一张表说清:
| 你要的输出 | 一次生成在算什么 | 大致量级感受(2026 年 10 月公开实测口径) |
|---|---|---|
| 一张图 | 一次完整去噪,几百上千个像素块 | 主流消费级显卡上是几秒到十几秒量级 |
| 一段五秒视频 | 几十到上百帧,还要处理帧与帧之间的连续性,有的模型连音轨一起出 | 同一档机器上是几分钟到十几分钟量级 |
也就是说五秒比一张图贵两个数量级,这不是软件的问题,是任务本身的问题。所以选型的第二问不该是"我做图还是做视频",而是"我这台机器承得住哪种输出"——显存、内存和等待时间怎么权衡,第 3 篇算过同样的账,视频这条线上它只会更狠。
还有一句要提醒:模型"开源当天"不等于"你当天就能低显存跑起来"。量化版、剪枝版、示例工作流往往晚几天甚至几周才出现,这个时间差就是前面说的社区重打包和节点维护在补的位置。
三个问题帮你定位
- 我这次是要稳定重复一件事,还是偶尔出一张图?前者值得把流程搞清、甚至把工作流接进脚本;后者用表单式界面或现成模板就够。
- 我这台机器承得住哪种输出——一张图,还是一段视频?这个问题决定你要装多少东西,比选软件重要。
- 我打算用别人的流程,还是自己搭?如果用别人的,先跑一遍看它要额外下载哪些文件、缺了会不会直接报错;如果自己搭,把存下来的那份文件当资产收好。
界面会换,流程会留下
这一层的工具过去两年换得比语言模型那层更快:一批曾经最流行的界面停止跟进新模型,新的架构假设反复出现,各家开源模型一个月一个。魔当实验室不建议把选型押在"哪款软件更红"上,因为这件事几个月就变一次。
值得押的是两样已经属于你自己的东西:攒下的模型文件,和理清的工作流文件。前者能跨软件带走,后者记的是"你打算怎么做这件事"——它可以传给同事、可以在换机器后原样重跑、可以让你这次踩的坑只踩一次。至于"打开就能用"这件事,方向和上一篇一致:市面上已经能看到一些把环境、依赖和常见模型打包在一起、做类似"一键安装、开箱即用"的方案,它们要解决的正是这一层最前面那道坎——不是你不会画图,是你还没把那台机器理顺。下一篇把这套分层方法用到第三个门类上:语音其实是三件事,听、说、像谁各在比什么,见《语音AI其实是三件事:听清、会说、像谁》。