1.1 插件定位与核心能力:理解 AI Diffusion 在 Krita 中的角色、适用场景与工作流价值
我最早接触 Krita AI Diffusion 这个插件的时候,其实心里是有点打鼓的——Krita 本身是个挺纯粹的绘画软件,突然要接一个 AI 生成的东西进来,会不会把原有的创作手感给搅乱了?实际用下来发现,它更像是在你画布旁边开了个“副驾驶”。你画你的线稿,它负责在你指定的区域里生成或补全画面,主控权还在你手里。这个定位很关键:它不是替代你画画,而是把生成式 AI 嵌到你的绘画流程里,让你在同一个窗口里完成“画”和“生成”两个动作。
适用场景我觉得主要分三类。一类是概念探索阶段,你脑子里有个模糊方向,手头又不想花几个小时铺色打光,那就用插件快速跑几版草图看看效果。另一类是局部精修,画到一半发现某个角色的手画歪了,或者背景的山体结构不够理想,圈个选区让 AI 重绘一下,比全部推倒重来省事得多。还有一类是风格迁移,拿自己的手绘稿当底图,配合提示词和模型,快速尝试不同画风。这些场景的共同点是:你需要 AI 帮你在已有画面上做“增量”,而不是从零生成一张完整的图。
工作流价值这块,我体会最深的是“不离开画布”这件事。以前用外部生成工具,导出图、切软件、生成、再导回来,创作节奏被打断得厉害。Krita AI Diffusion 把生成区域、提示词、参数控制全塞进 Krita 的面板里,图层关系也直接对应上——生成的图默认落在新图层,你随时可以调透明度、改混合模式、用蒙版修边缘。这种无缝衔接对保持创作状态真的很重要,尤其是画到兴头上的时候,任何一次软件切换都可能让你从“心流”里掉出来。
1.2 环境准备与版本兼容:Krita 版本、操作系统、显卡与 ComfyUI 后端要求
动手装之前,先把环境这块摸清楚,能少走不少弯路。Krita 版本方面,我建议用 5.2 或更新的稳定版,插件对旧版的支持没那么积极,5.0 以下就别折腾了。操作系统上 Windows 和 Linux 都行,macOS 也能跑但显卡适配会折腾一些,尤其 Apple Silicon 的机器需要额外留意后端配置。我主力是 Windows 环境,下面说的经验也主要基于这个平台,Mac 用户遇到差异可以对照官方文档补一下。
显卡这块是重点。插件背后跑的是 ComfyUI,生成速度很大程度取决于你的 GPU。N 卡用户最省心,显存 8GB 起步,6GB 也能跑但得用轻量模型和低分辨率。A 卡和 Intel 显卡会麻烦一些,需要走特定的后端配置,速度和稳定性都打折扣。我自己用 RTX 3060 12GB,跑 1024 分辨率的基本模型没什么压力,再往上就得靠分块生成或者降精度了。显存这东西,宁可多留点余量,不然生成到一半爆显存很扫兴。
ComfyUI 后端是另一个必须提前准备的组件。Krita AI Diffusion 本身不包含生成引擎,它通过 API 跟 ComfyUI 通信——你可以理解成插件是“遥控器”,ComfyUI 是“发动机”。所以你需要单独装好 ComfyUI,并且确保它能正常启动、能加载模型。我建议先把 ComfyUI 跑通,浏览器里能打开它的界面、能成功生成一张测试图,再去装 Krita 插件。顺序反过来的话,出问题你分不清是插件没配好还是后端没跑通,排查起来很头疼。
1.3 安装步骤详解:插件获取、安装方式、首次启动与基础目录配置
插件获取的渠道现在挺规范的,在 Krita 的“工具”菜单里找“脚本”下的“从文件安装 Python 插件”,或者直接去 GitHub 的仓库页面下载最新的发布包。我个人习惯去 GitHub releases 页面拿压缩包,版本更新和变更说明看得清楚。下载下来是个 .zip 文件,不用解压,Krita 能直接识别。安装路径别自己手动往插件目录里拷,用官方提供的安装入口最稳妥,Krita 会自动处理依赖和目录结构。
安装完成后重启 Krita,在“设置”菜单里找到“面板”选项,把 AI Image Diffusion 勾选上,面板就会出现在右侧停靠区。第一次打开面板它会提示你配置后端地址,默认是 http://127.0.0.1:8188,这个对应 ComfyUI 的默认端口。如果你 ComfyUI 跑在别的端口或者别的机器上,这里就得改。我建议初次安装时先保持默认,把 ComfyUI 在本机跑起来,确认连通了再考虑远程部署的事。
基础目录配置这块,插件需要知道模型放在哪、输出图存到哪。在面板的设置里有个“模型目录”选项,指向你 ComfyUI 的 models 文件夹就行。这里有个细节:ComfyUI 的模型分类比较细,checkpoints、loras、vae 各有各的子目录,插件会按分类去读。你放模型的时候别一股脑扔在 checkpoints 里,LoRA 文件就放 loras 目录,VAE 放 vae 目录,不然插件扫描不到或者加载报错。输出目录我一般设成跟项目文件同级的 output 文件夹,方便后期整理。
1.4 模型与后端配置:模型放置、连接设置、参数校验与安装结果验证
模型放置是很多人卡住的地方。Krita AI Diffusion 支持主流的 Stable Diffusion 检查点模型,safetensors 格式优先,ckpt 也能用但加载慢一些。把模型文件放进 ComfyUI 的 models/checkpoints 目录后,回到 Krita 插件面板点一下刷新,模型列表里应该就能看到它了。如果没出现,先检查文件后缀和目录层级——有时候解压出来多套了一层文件夹,ComfyUI 就扫不到。LoRA 和 VAE 同理,放对目录再刷新。
连接设置方面,除了刚才说的后端地址,还有个“连接超时”的参数值得调一下。默认值有时候偏短,尤其是在模型首次加载、显存吃紧的时候,请求还没返回就超时了,面板上会报连接错误。我一般把超时设到 120 秒左右,给后端留足响应时间。另外如果你 ComfyUI 开了 API 鉴权或者跑在局域网另一台机器上,记得把地址和端口改对,防火墙规则也检查一下,别让请求被拦在门外。
安装结果验证我推荐做个三步测试。第一步,在插件面板里确认模型列表能正常加载出你放的模型名;第二步,新建一个空白画布,随便写个简单提示词比如“a red apple”,生成一张小尺寸的图,看能不能出结果;第三步,检查生成的图有没有落到新图层上、图层名称和结构是否符合预期。三步都过了,说明插件、后端、模型、目录这条链路全通了。这一步别嫌麻烦,前期验证到位,后面用起来才踏实。
第2章 实时绘画使用方法:从基础操作到可控生成
2.1 界面与工作流概览:认识插件面板、画布交互、生成区域与图层关系
第一次打开插件面板的时候,我盯着那些按钮和输入框愣了好几秒,东西不算多但不知道从哪下手。后来用熟了才发现它的布局逻辑其实挺直观的:面板从上到下大致分三块,最上面是模型和提示词区域,中间是生成参数,底部是动作按钮和状态提示。我建议你刚上手的时候别急着改参数,先把面板从上到下扫一遍,知道每个区域大概管什么事,心里有个地图再动手。
画布这边的交互是另一个需要适应的点。插件生成的结果默认会新建一个图层放进去,不会覆盖你当前画的内容,这个设计我很喜欢。你在画布上圈一个选区,插件就只处理选区范围内的区域,没圈的话就是整张画布。生成的时候面板上会有进度提示,画布上会出现一个虚线框标示生成区域,结束后新图层自动叠上来,你原来那个图层原封不动躺在下面。这种图层关系意味着你随时可以关掉生成图层的可见性,对比前后效果,或者把生成图层的透明度拉低当参考底图用。
生成区域和图层的关系还有一个细节值得提:你可以指定生成结果输出到哪个图层组里。比如你在画一个角色,分成了“线稿”“底色”“光影”几个图层组,插件设置里可以选择把生成的图放进“光影”组,这样图层结构不会乱。我一开始没管这个,生成一次多一个图层,画到后面图层列表长得吓人。后来养成习惯,每次生成前先想好这张图要归到哪个组,面板里选一下,后续整理省很多事。
2.2 实时绘画基础操作:启用实时生成、调整提示词、控制生成强度与刷新方式
实时生成这个功能,开关就在面板顶部,一个显眼的按钮,点一下变绿就开始工作了。启用的瞬间你会看到画布上当前可见的内容被送去后端跑一圈,几秒到十几秒后生成结果出现在新图层上。我第一次开的时候没心理准备,画布突然闪了一下多出个图层,还以为点错了什么。其实这就是它的正常节奏:你画几笔,它根据当前画面和提示词重新生成一版。
提示词的写法跟其他 AI 绘画工具差不多,但实时场景下我建议别写太长。你写一大段精细描述,后端处理时间变长,实时感就没了。我通常就写主体加风格关键词,比如“a knight in armor, oil painting style”,够用就行。想调整画面方向的时候直接改提示词里的关键词,比如把“oil painting”换成“watercolor”,下一次刷新就能看到风格变化。负面提示词放在单独输入框里,常用的比如“blurry, low quality, bad anatomy”存成预设,省得每次重打。
生成强度这个滑块我花了不少时间才摸清楚。它控制的是生成结果跟原画面的偏离程度,数值低的时候生成图贴近你画的内容,高了就放飞自我。草图阶段我一般拉到中间偏上,让 AI 有发挥空间;细化阶段拉到中间偏下,保留更多我自己的笔触。刷新方式有两种,手动点按钮刷新和自动刷新。自动刷新适合探索阶段,你画一笔它跟一笔,但显存占用会高一些。手动刷新适合精修,画到自己满意了再让 AI 跑一版看看效果。我大部分时间用手动模式,画几笔按一下刷新,节奏自己控。
2.3 局部控制与精修:选区、蒙版、局部重绘、扩展画布与图层管理
选区工具是我用得最频繁的功能,没有之一。Krita 自带的选区工具都能用,矩形选框、套索、魔棒,圈哪生成哪。圈完选区再点生成,插件只处理选区内的像素,选区外的内容完全不碰。这个机制在修局部问题的时候特别管用,比如角色的手画得不对劲,圈住手部区域,提示词里写清楚要什么样的手,生成几版挑一个顺眼的。我修过一张图里马的腿,圈了七八次才得到满意的结构,但每次只动那一小块,其他部分纹丝不动,比整张重画效率高太多了。
蒙版和局部重绘是进阶一点的玩法。你可以在 Krita 里给图层画一个蒙版,黑色区域保护起来不参与生成,白色区域允许 AI 改动。这个比选区更灵活,因为蒙版可以画得很精细,边缘羽化过渡自然。我常用蒙版来处理头发边缘、半透明材质这类选区不好圈的地方。局部重绘的另一个用法是“扩展画布”:画布放大一圈,新出来的空白区域用生成填上,插件会根据边缘内容做外扩。我拿这个功能把一张半身像扩成了全身,衔接处过渡得还挺自然。
图层管理这块前面提过一嘴,这里再展开说一下。插件生成的每个结果都是一个独立图层,你可以给这些图层重命名、编组、调混合模式。我习惯把生成图层命名成“gen_日期_序号”的格式,方便回溯。有时候同一版生成跑了好几次,挑一个最好的留下,其他的删掉或者隐藏。Krita 的图层组功能跟插件配合得很好,你可以把整个角色放在一个组里,组内再分线稿、底色、生成稿几个子层,结构清晰,后期改起来也方便。
2.4 常见场景实操与效果调优:草图转绘、风格探索、角色与场景生成中的参数调整
草图转绘是我用得最多的场景。拿一张潦草的线稿或者色块铺底,开实时生成,提示词写清楚想要的内容和风格,让 AI 在草图基础上细化。这里有个参数很关键:生成强度不能太高,不然 AI 会把你草图里的构图和姿势改得面目全非。我一般从 0.4 左右开始试,效果不够再往上加。草图本身的信息量也很重要,你画得越具体,AI 越容易理解你的意图。我试过用几乎空白的画布加一句提示词直接生成,出来的东西跟开盲盒似的;也试过认真画了五分钟草图再生成,结果可控性高出一大截。
风格探索是另一个高频用法。同一张底图,换不同的模型和提示词,跑出来的风格差异可以很大。我做过一个测试,拿同一张角色线稿,分别用写实模型、二次元模型、油画风格 LoRA 各跑一遍,出来的三张图放在一起看挺有意思的。调风格的时候我建议一次只改一个变量,要么换模型,要么改提示词里的风格词,要么调 LoRA 权重,别同时动好几个参数,不然你分不清是哪个起了作用。我吃过这个亏,同时换模型又改提示词,结果效果变差了,排查半天不知道问题出在哪。
角色和场景生成里的参数调整有些小技巧。角色生成我一般把生成分辨率设在 768 到 1024 之间,再高显存吃不消,再低细节不够。场景生成可以适当降一点分辨率,因为场景的细节密度通常没角色那么高,768 左右够用。角色面部区域可以单独圈出来用低强度重绘几次,提升五官精度。场景里的远景部分用高强度生成,近景用低强度保留手绘感。这些参数没有标准答案,跟你的模型、硬件、审美偏好都有关系,多跑几版对比着看,慢慢就有手感了。
第3章 进阶工作流与稳定创作:效率优化、问题排查与综合案例
3.1 自定义工作流与预设管理:常用参数保存、风格预设、重复创作流程优化
用插件画了大概两周之后,我开始烦同一件事反复做。每次新建画布都要重新选模型、调采样步数、填一遍负面提示词,明明画的是同一个系列的角色,参数一模一样,手却要重新来一遍。后来我发现面板底部有个保存按钮,能把当前所有参数打包存成一个预设文件,下次直接调用就行。这个功能藏得不算深,但很容易被忽略,尤其是刚上手那阵子光顾着画画,根本顾不上整理。我现在的习惯是每调出一套好用的参数,立刻存一个预设,名字起得具体一点,比如“角色立绘_二次元_1024_低强度”,下次用的时候一眼就能挑出来。
风格预设这块我吃过亏。最早我把提示词和模型参数混在一起调,每次想复现某个效果都记不住到底改了哪个。后来学乖了,把提示词里的风格描述词单独拎出来存成文本片段,模型和 LoRA 权重压进一个预设文件里,生成强度这种跟具体画稿走的参数不往里放。这么拆开之后,我发现复用效率高了不少。比如我有一套“厚涂质感”的参数组合,换个主体提示词就能直接套到不同角色上,省掉了重新摸索风格的时间。预设文件我还会按项目分文件夹放,一个文件夹对应一个系列,找起来不费劲。
重复创作的流程优化还有一个我自认为挺聪明的做法:建一个模板画布。把常用的图层组先搭好,比如“草图”“线稿”“生成稿”“调整”这几层全建出来,每个组里该有的空图层也先放好,插件输出目标提前指定到“生成稿”组。这个模板存成 .kra 文件,下次开新稿直接另存为,图层结构一步到位,不用再手动整理。听起来像是个很基础的事,但我前一个月都是每次从头建组,画完一张图光整理图层就花好几分钟,积少成多其实挺可观的。
3.2 性能优化与资源管理:显存占用、生成速度、模型切换与批量创作建议
显存这个事,说多了都是泪。我刚开始用的时候觉得能跑就行,模型越换越大,分辨率越拉越高,直到某天连着崩了三次才老实回头看任务管理器。显存占用的几个大头我摸清楚了:模型本身的大小、生成分辨率、同时跑几个任务、还有实时生成的自动刷新频率。这几个变量里分辨率是最直接的杠杆,从 1024 降到 768,显存能省下来一大截,生成速度也快不少。我现在画草图阶段一律 768,到了细化阶段才往上提,一张图下来显存压力小很多。
模型切换这个动作比我想象中费资源。每次换模型插件都要把新模型加载进显存,模型大的话这个过程能卡好几秒,频繁切来切去体验很差。我的做法是同一批活尽量用同一个模型干完,要换风格的时候集中换一次,别画两笔就换一个。批量创作的时候这个习惯尤其重要,我试过一边跑批量生成一边手动切模型,结果队列里一半的图用了错的模型跑出来,白等了十几分钟。现在批量任务开始之前我会确认模型选对了,参数核对一遍,然后就不动它了。
生成速度这块有个容易被忽略的点:插件和 ComfyUI 后端之间的通信开销。我发现有时候生成本身不慢,卡在前端等后端回应的时间反而占了不少。查了一圈发现是网络或者本地端口的问题,ComfyUI 跑在本地的话一般还好,如果用局域网里另一台机器做后端,延迟就会明显一点。我现在的方案是把常用模型都放在本地机器的 SSD 上,ComfyUI 的临时目录也设到 SSD,生成的中间文件读写快,整体节奏顺畅很多。批量创作的时候我会提前把提示词列表写好,跑上任务之后就去干别的,回来收图,不盯着进度条看,心态好很多。
3.3 常见问题排查:安装失败、后端连接异常、生成报错与画面效果异常的解决思路
安装失败这件事我遇到过两次,两次原因还不一样。第一次是 Krita 版本太老,插件要求的最低版本没达到,装上之后面板根本出不来。第二次是 Python 依赖装了一半断了,插件文件夹在但启动时报错。我的排查顺序现在固定下来了:先确认 Krita 版本号跟插件说明里写的一致,再去插件管理界面看有没有报错信息,然后检查 Python 环境是不是完整。大部分安装问题靠这三步就能定位,真不行就去插件的 GitHub issues 里搜报错关键词,多半有人踩过同样的坑。
后端连接异常的表现很好认,面板上一直转圈或者直接弹红字说连不上 ComfyUI。我遇到最多的原因是 ComfyUI 没启动或者端口对不上。插件默认连的是本地 8188 端口,ComfyUI 有时候因为端口被占用自动换了端口,两边就不匹配了。解决办法很简单,看一眼 ComfyUI 启动日志里写的实际端口,回插件设置里改成一样的就行。还有一种情况是防火墙拦了本地回环地址的通信,这个比较少见但确实发生过,我在 Windows 上碰到过一次,把 ComfyUI 加进防火墙白名单就好了。
生成报错和画面效果异常是两类不同的问题,要分开看。报错一般是参数越界或者模型不兼容,比如采样步数设了负数、选的模型文件损坏了、LoRA 版本跟主模型对不上。我的习惯是看到报错先读完整提示信息,别急着关掉,报错里通常会写清楚是哪个参数出的问题。画面效果异常更麻烦一点,图能生成出来但结果不对劲,比如全黑、全灰、人物扭曲、颜色溢出。我排查这个的顺序是:先换一个最简单的提示词跑一版,排除提示词的问题;再换默认参数跑一版,排除参数的问题;然后换一个确定没问题的模型跑一版,排除模型的问题。三步下来基本能锁定原因。有一次我生成的图全是噪点,折腾半天发现是 VAE 文件放错了目录,插件读到了一个不匹配的版本,换回来就正常了。
3.4 综合案例与创作复盘:从安装配置到实时绘画再到成稿输出的完整实践流程
拿我最近画的一张图来复盘一下整个流程,是个半身角色插画,从零开始到成稿大概花了两个半小时。第一步永远是确认环境:Krita 开着,ComfyUI 在后台跑着,插件面板显示连接正常,模型选的是常用的二次元模型,VAE 对上了,显存占用看了一眼还有余量。这些检查听着琐碎,但省掉了中途出问题再回头折腾的时间,我宁可开头花两分钟确认一遍。
草图阶段我直接开实时生成,分辨率 768,生成强度 0.55,提示词就写了角色主体和基本风格。画了大概十分钟的粗略线稿,中间刷新了七八次,挑了一版构图和姿势都满意的生成结果作为底图。这一步的关键是别在草图上纠结细节,大形对了就行,细节留给后面。底图定下来之后我把生成强度降到 0.35,开始细化。面部区域单独圈选区重绘了三次,每次只改一点点,强度压得很低,保留我自己画的五官走向。头发和衣服褶皱用了蒙版局部重绘,边缘过渡比选区自然,这个技巧在上一章提过,这次实践中又验证了一遍确实好用。
细化到八成左右的时候我遇到一个小问题:肩膀和背景的交界处有一块颜色怎么调都不对,生成出来总是发灰。我试了改提示词、换模型、调强度,效果都不理想。后来换了个思路,把那一小块区域单独抠出来,新建一个图层手动涂了底色,再用低强度生成跑了一遍融合边缘,问题解决了。这件事给我的教训是别死磕参数,有时候手绘加生成混着来效率更高。最后输出前我把所有生成图层合并到一个组里,调了调对比度和饱和度,导出 PNG,完事。整张图复盘下来,时间大头花在细化阶段的局部重绘上,但每一步改的都是明确的问题区域,没有整张重画,废稿率比以前低了很多。这套流程我现在基本固定下来了,换个主体就能套着用,稳定出图的感觉确实踏实。