最新资讯
dev.to 浏览器内实时 AI 配音:五个时序 bug 及我们的测量方法 bloomberg.com Duke Energy 预计数据中心仍将增长,尽管美国各地出现反对声 unite.ai 菜鸟开放全球仓储网络,用于具身智能训练 unite.ai Anthropic 在 Claude 中推出只读个人财务 Beta techcrunch.com OpenAI 总裁 Greg Brockman 称公司可能在 2027 年具备 IPO 条件 unite.ai Google 在 Gemini Canvas 中演示基于草图的 App 原型开发 theinformation.com METR 研究:AI 或使 Anthropic 研发速度翻倍 unite.ai Stardock Clairvoyance 新增 Hivemind,共享闲置 GPU 用于本地 AI theverge.com Claude 可经 Plaid 直连银行账户管理个人财务 techcrunch.com Claude 新增个人财务工具,可分析用户支出 bloomberg.com Anthropic 与 Plaid 合作提供 AI 消费者财务指导 unite.ai OpenAI 发布 GPT-6 Cyber,限制访问并加入范围控制
多元动态
登录 注册
行业动态 wechat · @极客之家

一台笔记本+租来的GPU,我搭出了AI短剧流水线,成本低到离谱

原文 我的收藏
未提供

正文

最近短剧火的一塌糊涂,我也老刷到做 AI 短剧的人晒账单,我拿着公开价格自己算了一遍。 主流的视频生成模型,折算下来差不多一块钱/秒。偶尔玩几条没感觉,做短剧就是另一回事了。一个能用的镜头背后,少的五六条废片,多的几十条。一部 90 分钟的短剧,成片 5400 秒,重试率按 10 倍保守算,真实生成量五万多秒,五万块就没了。质量要求再高一点的团队重试到 30 倍,就是十五万。很多团队的播放分成到不了这个数,估计都得亏钱。 这九成烧在"试"上的钱,其实有另一种玩法。开源视频模型今年已经能用了,Wan2.2 这个级别,拿来试镜头、对分镜完全够。租两台 A800,跑一天才200来块钱,你生成一百条是这个钱,一千条还是这个钱。 麻烦在于,租来的实例没 root、装不了 Docker、开不了入站端口,自己搭环境这一步就能劝退大部分人。我后来是用一个叫 GPUWorks 的开源推理平台把这套东西跑起来的。 GPUWorks 是什么 这里得花点篇幅说说这个产品,不然后面的操作看着会跳。 GPUWorks 是 ZStack 出的,这家公司做云计算做了很多年,这个平台是他们新开源的项目。它管的事情说起来挺单一的。你手里有 GPU 机器,自己机房的也好,云上租的也好,它把这些机器收拢起来变成一个集群。它自带一个模型目录,你在目录里挑好模型,它帮你部署上去,对外给 OpenAI 兼容的 /v1 接口,你的程序直接调就行。 用什么卡不太挑,NVIDIA 可以,昇腾、海光这些国产卡也可以。目录里现在有300多个模型、1000多个档位,档位就是按卡的型号预置好的部署方案,这个后面会说到。 部署完之后要用的东西它也带了。多副本的负载路由、内置压测、运行监控、每个请求的延迟拆解、API 令牌管理,全在网页控制台里,不用自己另外搭。 整个平台是两个静态二进制,一个 server 一个 agent,不需要 Kubernetes,安装包40多MB。对我这种怕麻烦的人来说,最后这一条很加分。 我这回的用法是里面最简单的一种:server 装在我自己的笔记本上,agent 装进租来的那台 A800,剩下的都在浏览器里点。 安装和接入 server 这边没什么好写的,下载好安装包之后几条命令搞定。 cd ~/Desktop/sh tar -xzf gpuworks-31178e80-darwin-arm64.tar.gz cd gpuworks-31178e80-darwin-arm64 ./gpuworks install 拉起来以后浏览器打开控制台就能用,不用装 Kubernetes,不用装 Python,系统上也没什么要提前准备的。 实例那边,我在 AutoDL 上租了三天台 A800(但实际使用下来,只用到两张,一张完全空闲)。控制台里点添加节点,它内置了几家云厂商的接入,RunPod、Vast、AutoDL、优云智算、阿里云 ECS、ZStack Cloud 都在列表里。 我选 AutoDL,点一键安装 agent,SSH 登录和端口映射它自己处理。我等它跑完,实例就在节点列表里上线了,显存、利用率这些信息直接能看。 没有 root 和端口,它是怎么办到的 这部分我本来犹豫要不要写,怕写成技术文档,但估计有人会好奇,就简单说两句。有两处设计,正好对着租用实例的那两个限制。 一处是 runveil。 实例上没有 root、没有 Docker,按理说推理容器起不来。GPUWorks 自己带了一个叫 runveil 的运行环境,里面是一个打过补丁的 PRoot。PRoot 你可以理解成在用户态假装出容器需要的那层东西,不动系统,也不要权限,所以容器照样起得来。 另一处是连接方向。 这类平台一般是 server 去连节点,节点就得开个端口等着被连,租用实例恰恰开不了。 GPUWorks 反着来,agent 主动去连 server,实例上一个入站端口都不用。要是实例连往外连都受限,server 还能反过来拨进去。我的笔记本就在家里,没有公网 IP,实例在云上,两边就这么连上了。 部署一个视频模型 控制台里打开模型目录,档位里的镜像、权重来源、启动参数都是预置好的,我选了对应的档位,表单基本不用动。不用自己去研究这个模型该怎么起,这步省的时间比我预想的多。 提交之前它会先评估一遍,候选节点、每张卡要多少显存、参数有没有冲突,都列出来。怎么调都放不下的话,提交这一步就过不去,原因写在上面,不用等部署失败了再回头查。 第一次部署配置评估时就提示了问题,免得部署过程中出问题,省好多时间。以前经常已经下载好了,发现不兼容或者各种问题,还得推倒重来,这块人做得挺好的。 部署点下去,调度、拉起、健康检查它自己走完。有个事要提前讲,模型权重下载很慢,平台的实测记录是 185 GB 拉了 70 分钟左右。建议提前把权重预下载好,不然这一步只能干等。 部署完拿到一个 OpenAI 兼容的 /v1 接口,用 API 令牌鉴权。我试生成了一条,提示词写得很简单: 一只橘猫趴在窗台上午睡,尾巴尖偶尔轻轻晃动,午后阳光从窗帘的缝隙斜照进来,空气里的浮尘慢慢飘,镜头固定,浅景深。 场景简单,镜头不动,生成快,花不了几个钱,用来验证整条链路通不通刚刚好。 实际产能和成本对比 能跑起来不算完,我想知道这台机器一天到底能出多少东西。我直接拿这个部署的视频接口进行压测,连续发请求和同时发请求各测一轮,统计真实的端到端耗时。 一条 4 秒的片子,单并发两次分别是 294.29 秒和 294.26 秒,稳得有点无聊。同时发两条,第一条 294 秒完成,第二条排队到 586 秒,总吞吐没变,这个部署是串行处理视频请求的,堆并发没用,要加产量得加副本或者加卡。 换算成一天:每小时 12 条上下,24 小时 293 条左右,折合约 1187 秒素材,差不多 20 分钟。 拿这个产量去对价格。Seedance 2.5 和可灵 VIDEO 3.0 的官方价各算一遍,跟租卡的账摆在一起: 自部署折下来 0.243 元一秒,比可灵官方价低六成多,比 Seedance 2.5 低八成半。这个数只算了实际干活的两张卡,12 块一小时,一天 288。 注意一个大前提:本次测试没有做任何优化,按照现在社区案例,有针对 Wan2.2 的优化路径,4秒的片子生成时间可以压到1分钟以内,那成本可以低到几分钱/秒。 不管怎么样,哪怕按现在这个口径算下来,使用量越大租卡越划算,这个趋势是明确的。API 的成本跟着重试次数往上走,租金不会。 最后聊聊 先说实话的部分。 开源视频模型的画质跟 Seedance 2.5 这类商业模型比还有差距,对画质要求特别高的,成本没办法降低。但打磨期废片的 token 消耗一般占九成,这部分放到租来的卡上跑,成本极大降低。 估计也有人会问,Mac 上装个 ComfyUI 也能跑开源视频模型,为什么还要租卡、用平台。我自己试过,小打小闹可以,量产不行。Mac 硬件配置不高的话,太慢了,A800 快得多。而且自己装环境、找权重、调参数、盯着任务,这些杂事很耗人。平台是把这些都收进一个网页里,我主要管写提示词和看成片,别的不用管。自己搭环境偶尔玩一次可以,天天这么干撑不住。 我的建议是:对制作视频需求大的团队,这条路一定要试试;想低成本验证私有化部署的开发者,一台笔记本加一台租来的实例,几十块钱能把全流程走一遍;偶尔生成着玩的,直接调 API 就好,别折腾。 项目刚开源,地址在这: https://github.com/flitai-io/gpuworks 已经在玩AI短剧制作的朋友,可以在评论区聊聊你们的成本。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容