行业动态
wechat ·
@极客之家
一台笔记本+租来的GPU,我搭出了AI短剧流水线,成本低到离谱
未提供
正文
最近短剧火的一塌糊涂,我也老刷到做 AI 短剧的人晒账单,我拿着公开价格自己算了一遍。
主流的视频生成模型,折算下来差不多一块钱/秒。偶尔玩几条没感觉,做短剧就是另一回事了。一个能用的镜头背后,少的五六条废片,多的几十条。一部 90 分钟的短剧,成片 5400 秒,重试率按 10 倍保守算,真实生成量五万多秒,五万块就没了。质量要求再高一点的团队重试到 30 倍,就是十五万。很多团队的播放分成到不了这个数,估计都得亏钱。
这九成烧在"试"上的钱,其实有另一种玩法。开源视频模型今年已经能用了,Wan2.2 这个级别,拿来试镜头、对分镜完全够。租两台 A800,跑一天才200来块钱,你生成一百条是这个钱,一千条还是这个钱。
麻烦在于,租来的实例没 root、装不了 Docker、开不了入站端口,自己搭环境这一步就能劝退大部分人。我后来是用一个叫 GPUWorks 的开源推理平台把这套东西跑起来的。
GPUWorks 是什么
这里得花点篇幅说说这个产品,不然后面的操作看着会跳。
GPUWorks 是 ZStack 出的,这家公司做云计算做了很多年,这个平台是他们新开源的项目。它管的事情说起来挺单一的。你手里有 GPU 机器,自己机房的也好,云上租的也好,它把这些机器收拢起来变成一个集群。它自带一个模型目录,你在目录里挑好模型,它帮你部署上去,对外给 OpenAI 兼容的 /v1 接口,你的程序直接调就行。
用什么卡不太挑,NVIDIA 可以,昇腾、海光这些国产卡也可以。目录里现在有300多个模型、1000多个档位,档位就是按卡的型号预置好的部署方案,这个后面会说到。
部署完之后要用的东西它也带了。多副本的负载路由、内置压测、运行监控、每个请求的延迟拆解、API 令牌管理,全在网页控制台里,不用自己另外搭。
整个平台是两个静态二进制,一个 server 一个 agent,不需要 Kubernetes,安装包40多MB。对我这种怕麻烦的人来说,最后这一条很加分。
我这回的用法是里面最简单的一种:server 装在我自己的笔记本上,agent 装进租来的那台 A800,剩下的都在浏览器里点。
安装和接入
server 这边没什么好写的,下载好安装包之后几条命令搞定。
cd ~/Desktop/sh
tar -xzf gpuworks-31178e80-darwin-arm64.tar.gz
cd gpuworks-31178e80-darwin-arm64
./gpuworks install
拉起来以后浏览器打开控制台就能用,不用装 Kubernetes,不用装 Python,系统上也没什么要提前准备的。
实例那边,我在 AutoDL 上租了三天台 A800(但实际使用下来,只用到两张,一张完全空闲)。控制台里点添加节点,它内置了几家云厂商的接入,RunPod、Vast、AutoDL、优云智算、阿里云 ECS、ZStack Cloud 都在列表里。
我选 AutoDL,点一键安装 agent,SSH 登录和端口映射它自己处理。我等它跑完,实例就在节点列表里上线了,显存、利用率这些信息直接能看。
没有 root 和端口,它是怎么办到的
这部分我本来犹豫要不要写,怕写成技术文档,但估计有人会好奇,就简单说两句。有两处设计,正好对着租用实例的那两个限制。
一处是 runveil。 实例上没有 root、没有 Docker,按理说推理容器起不来。GPUWorks 自己带了一个叫 runveil 的运行环境,里面是一个打过补丁的 PRoot。PRoot 你可以理解成在用户态假装出容器需要的那层东西,不动系统,也不要权限,所以容器照样起得来。
另一处是连接方向。 这类平台一般是 server 去连节点,节点就得开个端口等着被连,租用实例恰恰开不了。
GPUWorks 反着来,agent 主动去连 server,实例上一个入站端口都不用。要是实例连往外连都受限,server 还能反过来拨进去。我的笔记本就在家里,没有公网 IP,实例在云上,两边就这么连上了。
部署一个视频模型
控制台里打开模型目录,档位里的镜像、权重来源、启动参数都是预置好的,我选了对应的档位,表单基本不用动。不用自己去研究这个模型该怎么起,这步省的时间比我预想的多。
提交之前它会先评估一遍,候选节点、每张卡要多少显存、参数有没有冲突,都列出来。怎么调都放不下的话,提交这一步就过不去,原因写在上面,不用等部署失败了再回头查。
第一次部署配置评估时就提示了问题,免得部署过程中出问题,省好多时间。以前经常已经下载好了,发现不兼容或者各种问题,还得推倒重来,这块人做得挺好的。
部署点下去,调度、拉起、健康检查它自己走完。有个事要提前讲,模型权重下载很慢,平台的实测记录是 185 GB 拉了 70 分钟左右。建议提前把权重预下载好,不然这一步只能干等。
部署完拿到一个 OpenAI 兼容的 /v1 接口,用 API 令牌鉴权。我试生成了一条,提示词写得很简单:
一只橘猫趴在窗台上午睡,尾巴尖偶尔轻轻晃动,午后阳光从窗帘的缝隙斜照进来,空气里的浮尘慢慢飘,镜头固定,浅景深。
场景简单,镜头不动,生成快,花不了几个钱,用来验证整条链路通不通刚刚好。
实际产能和成本对比
能跑起来不算完,我想知道这台机器一天到底能出多少东西。我直接拿这个部署的视频接口进行压测,连续发请求和同时发请求各测一轮,统计真实的端到端耗时。
一条 4 秒的片子,单并发两次分别是 294.29 秒和 294.26 秒,稳得有点无聊。同时发两条,第一条 294 秒完成,第二条排队到 586 秒,总吞吐没变,这个部署是串行处理视频请求的,堆并发没用,要加产量得加副本或者加卡。
换算成一天:每小时 12 条上下,24 小时 293 条左右,折合约 1187 秒素材,差不多 20 分钟。
拿这个产量去对价格。Seedance 2.5 和可灵 VIDEO 3.0 的官方价各算一遍,跟租卡的账摆在一起:
自部署折下来 0.243 元一秒,比可灵官方价低六成多,比 Seedance 2.5 低八成半。这个数只算了实际干活的两张卡,12 块一小时,一天 288。
注意一个大前提:本次测试没有做任何优化,按照现在社区案例,有针对 Wan2.2 的优化路径,4秒的片子生成时间可以压到1分钟以内,那成本可以低到几分钱/秒。
不管怎么样,哪怕按现在这个口径算下来,使用量越大租卡越划算,这个趋势是明确的。API 的成本跟着重试次数往上走,租金不会。
最后聊聊
先说实话的部分。
开源视频模型的画质跟 Seedance 2.5 这类商业模型比还有差距,对画质要求特别高的,成本没办法降低。但打磨期废片的 token 消耗一般占九成,这部分放到租来的卡上跑,成本极大降低。
估计也有人会问,Mac 上装个 ComfyUI 也能跑开源视频模型,为什么还要租卡、用平台。我自己试过,小打小闹可以,量产不行。Mac 硬件配置不高的话,太慢了,A800 快得多。而且自己装环境、找权重、调参数、盯着任务,这些杂事很耗人。平台是把这些都收进一个网页里,我主要管写提示词和看成片,别的不用管。自己搭环境偶尔玩一次可以,天天这么干撑不住。
我的建议是:对制作视频需求大的团队,这条路一定要试试;想低成本验证私有化部署的开发者,一台笔记本加一台租来的实例,几十块钱能把全流程走一遍;偶尔生成着玩的,直接调 API 就好,别折腾。
项目刚开源,地址在这:
https://github.com/flitai-io/gpuworks
已经在玩AI短剧制作的朋友,可以在评论区聊聊你们的成本。