一条 15 秒的产品片,画面这一段现在跑得挺快,十几分钟能出来。卡住的是后面:找配乐半小时,垫环境音一小时,杯子磕在桌面上那一下的拟音还得单独去素材库翻,最后再对一遍口型。画面一套工具、声音另一套工具,中间靠时间线硬拼——这是短视频这块最没技术含量、又最躲不掉的时间黑洞。
11 月 2 日 Pika 放出来的 H3 Flex,冲的就是这一块:一条提示词,画面和 32kHz 立体声一起出。它不是从零训的新模型,是在 MiniMax H3 的开源基座上做后训练、再蒸馏出来的一套适配器,权重和推理代码都放出来了。
它跟「又一个视频模型」的差别在哪
模型本体 33B,真正开源的是挂在基座上的两个 LoRA,rank 和 alpha 都是 128:一个叫 FL2VA,管文生视频和首尾帧控制;一个叫 Ref2VA,管多模态参考——给设定图锁长相、给动作视频只借动作。两只适配器加起来约 5.5GB,基座另算。
技术上值得记一个数:Pika 用投影分布匹配蒸馏(PDMD),把教师模型的 50 步去噪压到 6 步。步数少一半,出片时间差一个量级,这是它敢喊「接近实时」的底气。原生输出 480p / 768p,时长 5 到 15 秒,24fps,画幅给了 11 种(从 21:9 到 9:21)。在 DesignArena 的文生视频榜上排到第八,是那张榜上名次最高的开源模型。
顺带交代一下它的底座:MiniMax H3 今年 8 月开源,官方统计一个月下载量 2400 万次,社区衍生模型 300 多个。你在这套生态里看到的那些「H3 微调版」,大多是这个路子。
三条路,先想清楚走哪条
ComfyUI。官方在模板库里放了三个工作流:文生视频、参考生视频、首尾帧。已经有 ComfyUI 环境的人,主要是补模型文件和两只 LoRA,不用整套重搭。
Diffusers 或官方 CLI。命令行工具叫 pika-h3-pro,仓库在 Pika-Labs 下面。适合写 Python 流水线、要批量出片的场景,一次一条请求,多卡不会自动拆。
托管 API。本地只能到 768p,1080p / 2K / 4K 的增强在 API 侧;另一个只有 API 才有的能力是分轨——把混好的立体声拆成对白、配乐、音效、拟音、环境五条独立音轨。后期要单独改一句台词,靠的就是这个。
本地跑之前,先看这三个数
这三个数字不看清,下载按钮点下去就是白等一晚上。
基座加依赖约 211GB,适配器 5.5GB,硬盘先留 300GB。官方 CLI 是单卡路线,代表机型 H100 80GB:480p、5 秒的片段,显存吃到 66 到 69GB。768p、15 秒的长片,一般得开 --cpu-offload,这时 GPU 占 29 到 32GB,但主机内存要 94GB 量级。
翻译成人话:64GB 内存是门槛,不是推荐配置。有人用 16GB 显卡加 64GB 内存,在 ComfyUI 里靠动态显存和分块解码跑通过 480p / 5 秒,能出片,但慢得让人怀疑人生。你的机器是 4060 或者 3070 这一档,老老实实走 API,一秒钟一美分,比拼一晚上驱动便宜。
ComfyUI 里这四个参数别乱动
官方模板的采样是 lcm 配一张 ManualSigmas 的六步表,CFG 1.0,适配器强度 1.0。这四项是配平过的,改一项观感就偏。
最常见的两个错:一是画蛇添足再叠一个 turbo 或 Lightning 加速 LoRA——本来就是六步,再加速只会糊;二是把采样器换成通用 Euler 跑六步,步数对上,噪声表对不上,出来的片子发灰、动作黏。六步指的是这套专用表,不是「随便什么采样器跑六次」。
时长填 5 到 15 的整数秒,实际帧数会按模型的时间网格对齐,差一两帧是正常的,别当 bug 追。
提示词按「时间段」写,别按形容词写
它读得懂分镜。按「风格 → 每段几秒到几秒、机位怎么动、停在哪 → 环境音和配乐」这个顺序写,稳定性明显好过堆一串形容词:
写实风格。0–3 秒:俯拍远景,一个人在空旷车间里,主体在画面里显得很小,镜头缓慢下压;3–7 秒:切侧方中景,跟拍手部动作,镜头有短暂停点;7–12 秒:特写,手指按下开关,环境音是按键声和空旷回声,不要配乐。
两个细节值得记:写「大远景」的时候要补一句「主体在大空间里显得很小」,只写 wide shot,模型经常给你一个中景;每个机位都要给停点,一路推拉摇移不歇,成片会晕。用参考模式时把规则写死,比如「这张图只借动作,不借长相」,含糊着写,它会把长相也一起搬过去。参考位最多 12 个——图 9、视频 3、音频 3,塞满反而互相打架。
钱花在哪
官方价目是文生视频 0.01 美元一秒起、参考生视频 0.03 美元一秒起,按秒计。一条 10 秒的片子,纯文生大概一毛美元,带参考的三毛上下,具体以官网实时报价为准。4K 增强和分轨是另外算的增值服务。
速度上,Pika 自己给的数是:8 张 B300 上,5 秒 768p 的一条片子,条件编码加去噪加解码,从 3.409 秒压到 2.129 秒,约 1.6 倍。这个数是他们托管服务的成绩,不代表你本地那张卡。
五个容易踩的点
一,先看显存再点下载。211GB 下完发现只有 12GB 显存,删的时候更痛苦。
二,本地的声音是混好的。32kHz 立体声直接压进成片,拆不开。要单独改台词、换配乐,只能把同一条素材送到 API 侧做分轨,这一步的流程得提前设计,别等剪完了才发现。
三,参考素材别塞满。12 个位置不是让你填满的,三张设定图加一条动作参考,比九张图糊上去稳。
四,别拿它替代剪辑。5 到 15 秒一段,多镜头叙事还得靠拼接。这条和可灵那种图生视频的用法不一样,静图变镜头的路子解决的是运镜,不是分镜。
五,许可证看一眼。它的底座跟 MiniMax H3 一脉,商用条款、署名要求都写在模型卡里。做对客交付的片子之前花五分钟读一遍,比事后补授权便宜。
常见问题
能出多长的片子?单段 5 到 15 秒。想要 30 秒,两段 15 秒拼接,注意接点处的光线和景别要接得上。
苹果电脑能本地跑吗?官方 CLI 是一条单卡 CUDA 的路线,代表机型写的是 H100。Apple Silicon 目前没有对应路径,本地跑的念头可以先放放,直接用 API。
声音是什么规格?32kHz 立体声,混在成片里。做短视频够用,做需要单独混音的广告片,还是要走分轨。
会不会取代现在的配音流程?看你的片子里口播占多大比重。纯氛围音、产品音效的片子,它能省掉一轮素材库;有大段口播的,仍要另配,配乐这一环现在也有更省事的做法。
没有 ComfyUI 基础能上手吗?能装就能用,官方模板是拖进去改提示词的事。真要连节点、显存、模型路径都没接触过,先把这个工具本身摸熟,再回来装这套,会少踩很多莫名其妙的错。