这两年我陆陆续续试过不少文生视频开源模型,踩过的坑比跑通的demo多。身边朋友经常甩过来一句“现在哪个模型最能打”,我一般不会直接给答案。这个问题脱离场景就没法聊。同一套权重,放在创作工具里可能嫌它慢,放在研究复现里可能嫌它文档烂,放在产品集成里又可能卡在许可证上。我慢慢摸索出一套自己的评估框架,谈不上权威,但至少能少走点弯路。
1.1 对比目标与应用场景界定
我现在做任何一次模型对比,开场先问用途。创作工具看重的是交互反馈、风格覆盖和出片效率,用户点一下等半分钟和等五分钟,体验天差地别。研究复现的诉求完全是另一套,权重能不能下载、训练脚本跑不跑得通、评测代码有没有坑,这些比生成质量还优先。产品集成看的是推理显存、API稳定性、许可证边界。垂类应用比如电商短视频、教育动画,考验的是微调门槛和领域数据适配度。目标不同,评分表的权重就得跟着调。
我见过一个做广告短片的团队,非追最新的大参数模型,结果单卡显存吃满,创意迭代周期从两天拖到一周,最后回退到小模型加LoRA的组合,反而顺手。场景界定这件事,省不得。你把用途聊清楚,后面选型能少吵很多架。
1.2 核心生成能力维度
生成能力我会拆得细一点。生成时长、分辨率、帧率是最表层的参数,看一眼模型卡就知道。真正拉开差距的是运动一致性,人物走路会不会抖、镜头推拉有没有断裂、物体交互自不自然。文本遵循能力也很要命,提示词里写了“红色外套、侧逆光、手持镜头”,模型能不能逐项兑现,还是只抓个大概。
镜头控制是我最近特别在意的一维。有些模型只吃自然语言,有些支持相机参数、运动轨迹、首尾帧约束,对做短片的人来说这完全是两个工具。风格覆盖也值得单独看,写实、动画、赛博、水墨,不同模型在训练数据上的偏好差得很远。我自己的习惯是准备一套统一提示词集,专挑容易翻车的场景跑,比如多人交互、快速运动、文字生成。demo视频谁都会剪,翻车场景才见真章。
1.3 工程与资源维度
参数规模不是越大越好,这点我体会很深。参数量决定能力上限,推理显存决定你能不能日常用起来。我一般会记几个数:480p和720p在不同帧数下的峰值显存、量化后能省多少、分片和CPU offload对延迟的影响。这些数字比论文里的FVD实在得多。
训练和微调成本也要算进去。全参微调对个人开发者基本是门槛,LoRA勉强能玩,显存需求差一个量级。推理速度直接影响工作流,单条视频等十分钟和等两分钟,创意迭代的节奏完全不一样。部署生态我关注有没有现成的ComfyUI节点、Diffusers支持、社区issue的响应速度。琐碎,可这些用起来才知道多重要。
1.4 合规与商业化维度
许可证这件事,很多人选型后期才想起来看。我建议提前。Apache-2.0和MIT相对宽松,GPL有传染性,自定义社区许可经常藏着商用门槛,月活限制、营收限制、必须署名、某些行业禁用,条款五花八门。
衍生模型的义务容易被忽略。微调出来的权重要不要继承原许可?再分发有没有附加条款?生成内容的权属归谁?这些问题在试点阶段没人管,产品化阶段全变成法务的活。我习惯把每个模型的许可条款单独拉一张表,标注商用边界、署名要求、地域限制。表看着枯燥,关键时刻能救命。
1.5 对比方法与测试基准
评测方法我走过弯路。早期只看论文指标,FVD、CLIP score这些,后来发现跟人眼感受对不上。现在我的做法是统一提示词集加主观评测双轨走。提示词集覆盖人物、风景、动作、镜头运动、文字生成几大类,每组固定种子和采样参数。
客观指标做参考,主观打分做决策。可复现的实验条件很关键,同一张卡、同一版本代码、同一套依赖,跑出来的数才能横向比。我会把每次实验的配置、耗时、显存峰值都记下来,慢慢形成自己的小基准库。时间长了,哪个模型在哪个场景稳,心里就有数了。这套框架不完美,但比凭感觉选型靠谱得多。
2.1 模型谱系与代表项目梳理
我习惯先把模型按出身分个类,这样后面聊能力的时候心里有张地图。CogVideoX是智谱那条线,2B和5B两个规格,DiT架构配3D VAE,社区生态铺得早,Diffusers支持得也早。Open-Sora走的是复现Sora那条路线的开源项目,从1.0到2.0迭代节奏挺快,配置灵活度大,参数量跨度也大。Mochi 1是Genmo放出来的,10B参数量,AsymmDiT结构,主打运动质量和提示词遵循。LTX-Video是Lightricks的作品,走轻量实时路线,模型小、速度快,对个人开发者很友好。HunyuanVideo是腾讯的13B大块头,生成质量在开源里属于第一梯队,代价是显存门槛也上去了。
这几个项目背后的技术路线差异挺有意思。有的在VAE压缩比上做文章,有的在时空注意力结构上动刀,有的干脆把Transformer的对称性打破。我不是做模型架构研究的,平时更关心这些设计落到我机器上是什么表现。参数量从2B到13B,中间差了六倍多,推理显存的差距远不止这个倍数,后面细说。
项目活跃度也得看一眼。GitHub上的commit频率、issue响应、权重和推理代码是否同步更新,这些琐碎信息实际用起来影响很大。我遇到过权重放出来了、推理脚本还在路上的情况,也遇到过issue挂了两周没人理的仓库。模型好不好是一回事,生态能不能跟上又是另一回事。
2.2 生成质量与能力对比
生成质量这块我不太信单一指标。同一组提示词,五个模型跑下来,第一眼观感差别就很大。HunyuanVideo和Mochi在运动自然度上确实稳,人物走路、转身、手臂摆动这些动作的连贯性明显好一截。CogVideoX在文本遵循和风格覆盖上比较均衡,写实、动画、插画风都能接得住。LTX-Video出片快,运动幅度大的场景偶尔会崩,但短镜头、简单动作的完成度不低。Open-Sora的表现跟具体版本和配置关系很大,调好了很能打,调不好容易出鬼影。
分辨率和时长这两个表层参数,现在主流模型基本都能做到720p、几秒到十几秒。真正拉开差距的是镜头语言。我试过用同一段描述“镜头从低角度缓慢推近,主角侧身回头”,有的模型能做出推镜感,有的就是画面整体放大一下。首尾帧约束、运动轨迹控制这些能力,不同模型支持程度差很多,做短片的人会很在意这个。
风格覆盖我单独说一句。写实风格大家都能做,差异在皮肤质感、光影层次。动画和插画风格就分化明显了,有的模型训练数据偏某一种审美,出片有很强的“模型味”。我一般会拿水墨、赛博、黏土动画这几个偏门风格去测,能看出训练数据的广度。文字生成目前是集体短板,提示词里带字幕或者招牌文字,翻车率都不低,谁家稍微好一点也谈不上可用。
2.3 显存要求对比
显存这块是我最花时间记录的部分。同一模型,480p和720p的峰值显存能差出一倍多,帧数从49加到121又是另一个台阶。CogVideoX-5B在720p、49帧的配置下,bf16精度单卡推理峰值大概在二十多GB这个量级,480p能压到十几GB。HunyuanVideo 13B就凶了,720p原生推理轻松突破六十GB,普通消费卡基本没戏,得上多卡或者重度优化。Mochi 10B的显存曲线跟Hunyuan接近,也是大显存户。LTX-Video在这方面是清流,模型小,480p短片段在十几GB显存的卡上能跑起来。
量化带来的收益很实在。fp8量化通常能把显存需求砍掉三到四成,画质损失在我肉眼看来有限,做实验和批量生成完全能接受。int4更激进,显存省得更多,细节和运动稳定性会掉一档,适合低显存尝鲜。分片和CPU offload是另一条路,把模型层拆到不同设备或者临时卸载到内存,显存峰值能大幅下降,代价是推理时间成倍增加。我试过用offload在一张24GB卡上跑大模型,能跑通,等的时间够泡两杯茶。
记录的粒度我建议细一点。不要只记“能不能跑”,要记分辨率、帧数、精度、是否量化、是否offload、峰值显存、耗时。这几个数凑齐了,换机器或者换配置的时候才有参照。我自己有一张表,跑一个新模型先填一行,时间长了横向对比特别直观。
2.4 推理性能与部署成本对比
推理速度的差距比很多人想象的大。LTX-Video生成一条几秒的短片,优化好的配置下几十秒能出,适合快速迭代。CogVideoX中等配置下一条视频几分钟,属于可接受的创作节奏。HunyuanVideo和Mochi这种大模型,单卡跑一条动辄十几分钟,批量生成的成本一下就上去了。延迟这件事直接决定工作流形态,快模型可以边聊边改,慢模型得攒一批提示词夜里跑。
多卡配置能提吞吐,不是线性提升。我见过的实际数据,两张卡跑大模型,吞吐大概提升六到七成,延迟下降有限。张量并行和序列并行的配置复杂度不低,环境依赖、通信开销、显存均衡都是坑。单卡优化到极致往往比堆卡更划算,量化加offload加分辨率折中,一套组合拳下来,中等显存的卡也能跑出可用的结果。
部署成本要算总账。电费、机器折旧、运维时间都算进去,批量生成的单位成本才看得清。我帮一个团队算过,用大模型跑电商短视频,单条成本比小模型加LoRA的方案高出好几倍,质量提升在终端用户那里感知并不明显。性能对比不能只看跑分,要落到自己的业务节奏里看。
2.5 微调与二次开发门槛对比
微调门槛这块,LoRA和全参完全是两个世界。LoRA对显存的要求友好很多,CogVideoX-5B做LoRA微调,一张四十GB级别的卡能起步,数据量几百条视频片段就有初步效果。全参微调就是另一个量级了,大模型全参动辄需要多卡集群,个人开发者基本不用想。LTX-Video因为模型小,LoRA微调在消费级卡上也能玩,这是它被很多小团队喜欢的原因之一。
训练数据的需求容易被低估。文生视频的微调数据不只是视频,还要配高质量的文本描述,描述颗粒度直接影响微调效果。我见过有人拿几十条视频就想微调出特定风格,结果过拟合得厉害,换个提示词就崩。数据清洗、描述重写、片段切分这些脏活,占的时间比跑训练还多。
工具链成熟度差异明显。CogVideoX和HunyuanVideo的微调脚本、数据预处理、配置示例相对齐全,社区里能搜到不少实践帖。Open-Sora的配置灵活度高,文档门槛也高,新手容易卡在环境配置上。LTX-Video的生态轻,围绕它的教程和插件还在长。我选微调目标的时候,会先看官方仓库里finetune目录的内容量,这个信号挺准。
2.6 典型场景选型建议
低显存实验场景,我的建议是LTX-Video起步,配合CogVideoX-2B做对照。两张卡以内的环境,这两个组合能覆盖大部分尝试需求。想验证更高质量的上限,用云端按小时租大显存机器跑HunyuanVideo,比自己攒机器划算。
高质量短片制作,HunyuanVideo和Mochi是当前开源里的优先项,前提是显存管够。制作流程上我倾向于大模型出关键镜头、小模型做过渡和批量素材,混着用。CogVideoX-5B作为中间档,质量和成本平衡得不错,适合作为主力。
批量生成场景,吞吐和稳定性比单条质量重要。LTX-Video加量化加固定种子批处理,是低成本高产出的组合。垂类微调场景,先看目标模型有没有现成的LoRA脚本和数据格式示例,CogVideoX和HunyuanVideo在这块积累多。产品集成场景,显存预算、许可证、推理延迟三个约束一起看,小模型加LoRA的方案在多数产品化需求里性价比更高,大模型留给对画质有硬要求的环节。
选型这件事我越来越倾向于组合拳,不追求一个模型通吃。不同环节用不同模型,接口和数据格式打通,整体工作流反而更稳。单一模型的参数表再漂亮,落到实际生产里总有短板。
3.1 开源许可证类型与商用边界
说到模型许可证,我见过太多人只扫一眼“开源”两个字就放心用了。这事儿真不能这么干。Apache-2.0、MIT这两种是最省心的,商用没障碍,改代码再发布也行,保留版权声明和许可证副本就成。GPL就麻烦一些,传染性条款意味着你基于它改出来的东西得用同样的许可证放出去,做产品集成的时候法务会皱眉。模型领域还有一类自定义社区许可,名字听着像开源,条款里塞了用户规模限制、营收门槛或者用途排除,我一般会把这类单独拎出来看。
实际动手之前,我的习惯是先把许可证文件下载下来逐字读。别嫌麻烦,有的项目LICENSE和README里写的不是一回事,权重许可和代码许可也可能分开。我就遇到过一个模型代码是Apache-2.0、权重是CC-BY-NC,商用直接没戏的情况。还有个细节,许可证版本号要看清楚,Apache-2.0和Apache-1.1的法律含义差挺多。
社区里那种“应该没事吧”的口头共识靠不住。公司要走合规流程的话,许可证类型是硬门槛,越早确认越好。我帮朋友看项目的时候,第一件事就是翻仓库根目录的LICENSE文件,第二件事是去模型权重页面再确认一遍,两边对上了才往下聊。这个顺序反过来,后面容易白忙活。
3.2 主流模型商用许可协议对比
CogVideoX的代码和权重走的是Apache-2.0,商用基本没附加条件,这条在几个主流模型里算最清爽的。HunyuanVideo的许可证带自定义条款,我记得有一段关于用户规模和用途的描述,商用前得对号入座,超过门槛要单独谈授权。Open-Sora的许可证跟着版本走过变化,早期偏宽松,后续版本里加了一些使用场景的限制,用哪个版本就得看那个版本的条款。Mochi和LTX-Video各自的许可里也有细节差异,Mochi那边对再分发和商业化有说明,LTX-Video相对友好但也要确认权重和代码是不是同一套许可。
署名义务容易被忽略。有的许可证要求在产品里或者文档里注明使用了哪个模型,写清楚项目名和版本。通知义务也类似,修改了模型之后要在文件里标注改动。这些条款看着琐碎,真到商用审核的时候是实打实的检查项。我现在的习惯是建一个表格,把每个模型的许可证、署名要求、商用限制、权重和代码是否分开授权这几列填满,选型的时候拿这张表当底稿。
营收限制这块我得单独提一句。有些模型许可里写着年营收或者用户数超过某个数值就得联系授权方,具体数字各项目不一样。做小规模试点的时候没人管,一旦产品化放量,这条就可能踩线。我建议财务数据稍微像样的团队在选型初期就把这条看清楚,免得上线之后被许可问题卡住。
3.3 衍生模型与输出内容合规
微调之后模型许可怎么继承,这个问题问的人多、答得清楚的人少。我的理解是看基础模型的许可条款怎么写,有的明确说衍生模型必须沿用原许可,有的允许换许可证但要保留原声明。Apache-2.0在这块比较清晰,允许衍生作品用不同许可,前提是保留原始版权和许可文件。自定义社区许可就得逐条读了,有的写得很模糊,模糊地带我倾向于按最严格的理解来。
权重再分发的边界也值得说。把微调后的权重放到公开仓库或者卖给客户,性质不一样。公开分发通常受原许可约束更紧,商业交付则要看合同和许可怎么衔接。我见过团队把微调模型直接打包进产品售卖的,事先没确认许可,后来补授权补得挺狼狈。
输出内容的版权归属是另一层问题。模型生成的东西,版权在多数司法辖区里并不自动归使用者,尤其是训练数据来源复杂的时候。商用场景里我的做法是给生成内容加人工审核环节,涉及品牌、名人、特定场景的素材格外小心。标识义务也在收紧,一些地区要求AI生成内容做显式标注,产品里得有对应的处理机制。这些不是模型本身能解决的,得在应用层补。
3.4 数据与训练合规风险
训练数据来源这件事,开源模型项目里透明度参差不齐。有的会披露数据规模、来源类型和清洗流程,有的只给一个模糊描述。商用之前我会尽量找数据说明文档,找不到就按风险偏高的假设做评估。视频模型的训练数据里往往包含大量网络素材,肖像权、版权素材的隐患是客观存在的,模型方通常用“不承担下游使用责任”的条款把球踢给使用者。
深度伪造的风险现在被盯得越来越紧。生成人脸、模仿特定人物、伪造新闻场景,这些用途在很多地区有明确法规限制。我接触过的企业客户里,稍微正规一点的都会在内部规范里写清楚禁止用途,产品侧加审核和拦截。这块别抱侥幸心理,出一次事代价很大。
地域监管差异也得纳入考虑。欧盟的AI法案对生成内容有透明度要求,国内对深度合成有专门规定,美国各州层面也有动作。同一套产品在不同市场卖,合规配置可能要分开做。我的建议是商用前找法务或者外部顾问过一遍目标市场的规则清单,不要拿一个市场的经验套所有地方。
3.5 企业选型决策矩阵
选型这件事我现在不太看单一维度的排行榜了。生成能力、显存成本、许可风险、生态支持、长期维护,这五个维度我会分别打分再综合。生成能力看业务场景的硬要求,做广告片和做内部工具的标准完全不一样。显存成本要算推理和微调两笔账,还要把量化和offload的折中方案算进去。许可风险是硬约束,踩线了质量再好也不能用。
生态支持这个维度容易被低估。文档质量、issue响应速度、社区活跃度、第三方工具链的适配情况,这些决定了团队上手和排障的成本。我遇到过一个模型能力不错但文档写得像天书,团队花了两周才跑通推理,时间成本远超预期。长期维护看的是项目背后有没有稳定投入,权重更新频率、版本兼容策略、许可证会不会变,这些要留出观察窗口。
我的打分表里许可风险权重给得最高,因为它是否决项。生成能力和显存成本权重接近,看业务更偏质量还是更偏成本。生态支持和长期维护合起来占三成左右。这张表不是固定公式,不同团队调权重就行,关键是逼着自己把每个维度想清楚,而不是被某个模型的demo效果牵着走。
3.6 落地路线与未来趋势
落地我建议从小试点开始。挑一个具体场景,比如电商短视频或者内部培训素材,用两三个候选模型跑两周,把质量、成本、许可、运维四件事都过一遍。试点阶段用云端算力按需租,别急着买卡。跑出数据之后再决定规模化用哪个组合,节奏上更稳。
许可变化要持续跟踪。开源项目的许可证不是一成不变的,版本升级时条款调整的情况我见过好几次。做法上我建议订阅项目仓库的release通知,许可证文件变更单独设一个提醒。产品里用到的每个模型建一条记录,版本号、许可证快照、确认日期都存下来,将来审计或者换模型的时候有据可查。
模型迭代速度决定了替代策略得提前想。现在主流模型的更新周期按月算,今天选的最优方案半年后可能就不是了。架构上我倾向于把模型调用层做薄,接口抽象出来,换模型的时候改配置而不是改业务代码。存储和数据处理链路也尽量和模型解耦,这样迭代成本可控。长期看,组合使用不同模型、保持可替换性,比押注单一模型更符合现实。