行业动态
wechat ·
@极客之家
又一个神级Skill:文案丢进去,AI自动生成数字人播报
未提供
正文
做口播视频的人都知道,写文案其实是最省事的,后面配音、生成画面、对口型、上字幕、剪辑才是花时间的部分,而且中间只要改一句话,后面基本都要跟着动一遍。
lanshu-create-ai-presenter-video 这个开源项目做的事情,就是把后面这一串交给 agent 去跑。
我拿它跑了一下,咱们先看效果。
接下来我们来聊聊这个 Skill,以下是正文。
简介
这个项目目前在 GitHub 上已经拿到 2.7k Star了,它其实不算一个软件,就是个 Skill,说直白点就是一个写得很详细的流程文件,里面把做讲解视频的每一步怎么走、拿什么文件验收、钱在哪一步花,都写清楚了。
Codex、Cursor、WorkBuddy、豆包工作等等这些能读文件能跑命令的 agent 都能加载它。做出来的视频有两种,一种是数字人站在那儿讲的口播视频,另一种是没有真人、用各种画面风格把内容演出来的讲解视频,下面分开说。
功能详情
数字人口播视频
给它一段文案或者一个题目,再给一张人物照片,这张照片你得确认自己有权使用,agent 会把后面的事情都做完:配音、生成数字人视频、对口型、加字幕和关键词动效,最后输出一条完整的片子。
默认出的是 9:16 的竖屏,1080×1920,30 帧,发短视频平台可以直接用,想要横屏的也能出。如果你只给一个题目,它会先帮你写一版文案,大概 45 到 75 秒的长度。
不要真人的话,有十二种画面风格可以选
这条路线里没有数字人,你给的每一句话都会用画面演出来。风格一共十二种,其中九种是画风,三种是讲法,出的片是 16:9 的横屏。
仓库里有个演示我觉得挺直观的,它拿 KV cache 这个技术概念当题目,同一段讲解,用九种画风各做了一遍:
九种画风分别是设计师留白、科技感信号、手帐、纸艺立体书、波普漫画、3D 一镜到底、图纸与注脚、黑板报、黏土小城。
另外三种是讲法,不光是换个画风,讲的方式本身就不一样。推演是在一张画布上把公式和图形一步步推出来;案卷是模拟一个调查现场,在证据板上从一个异常查到结案;小剧场是用生活场景来演,角色先踩进一个误区,然后通过一张账单或者一次排队找到原因。
用起来的过程是这样的:
你把题目给它,选好风格,它先出一版能从头放到尾的初稿,配音、逐字时间轴、字幕、章节条、结尾、复习页这些都有,然后 agent 再一句一句去补每句话对应的画面。如果你拿不定主意用哪种画风,可以让它九种各出一版草稿,草稿不用额外花钱,看完再挑。
配音定好之后才动画面
这个项目有个设计我觉得挺关键的,就是先把配音完全定下来,之后才去做画面。配音定了之后,整条视频的时间就照这份音频来对,人物动作、字幕、剪辑点全都跟着它走。
这么安排有用的地方在于,改文案的时候只要重新录配音,画面会跟着新的音频重新对齐,不需要把原来的画面整段重新生成一遍。
做过数字人视频的对口型漂移应该都有体会,这个安排起码能让口型和字幕始终对着同一份音频。
流程分八个阶段,每步都要有实际产物
它把做视频这件事拆成了八个阶段,从建任务开始,到文案锁定、音频锁定,再到渲染和最后的验收。每个阶段要往下走,磁盘上必须已经有对应的文件,状态是用脚本算出来的,脚本看你目录里实际有什么文件,没有产物就进不了下一步。
出片之前还有一个验收环节,它会把母版和分享版完整解码检查一遍,响度也要在负 16 LUFS 上下 0.5 的范围里,这些都通过了,片子才会交付给你。
涉及付费的步骤,会先跟你报账
这个项目很多环节是要花钱调生成服务的,它的做法是,正式生成之前先用低成本的方式出一个试片,试片你认可了再花整段的钱。
第一次发起付费调用之前,agent 会先把账报给你,包括要上传哪些东西、生成多少秒、已知的价格、重试的上限是多少。远程任务中途断了,可以用任务 ID 接着恢复,不会因为重复提交多扣一次钱。如果连续三个付费生成的结果都不合格,流程会停下来,把失败的情况汇总给你,让你决定怎么办,不会自己一直重试下去。
照片和声音都有授权要求
用人物照片做数字人之前,要先确认照片你有使用权,照片里的人必须是成年人。声音克隆也必须是拿到明确授权才行,它不会根据一张照片去给你配一个声音。
另外仓库本身不存任何密钥和用户素材,每次任务实际用了哪家服务商、什么模型、什么参数,都会记录在任务文件里。
哪些地方要花钱
Skill 本身是免费开源的,花的钱都在生成服务上。数字人路线需要配音、数字人视频、口型同步这几样能力,可以用云端的 API,也可以用本地模型,它不绑定具体哪一家,跑的时候看哪项能力能用就用哪项。
风格化路线唯一要花钱的是配音,它是按行生成的,一行一句,生成过的有缓存,后面只改某一句的话,只需要重新生成那一句。如果你自己把配音录好给它,风格化路线就完全不用花钱了。
当然,也可以用模型本身的配音能力,这个配音效果就取决于模型语音能力了。
快速上手
我装的时候就是一句 git clone,把仓库克隆到 agent 的 skills 目录里,比如 Claude Code 是 ~/.claude/skills/ 下面,Codex 是 ~/.codex/skills/ 下面,目录名保持 lanshu-create-ai-presenter-video 不要改,它要求目录名和 skill 名一致。
装好以后正常聊天就行,我用下面这张我自己生成的人物照片和这段30s的口播文案,试试效果。
AI产品一天一个样,
哪个真好用,哪个只是噱头?
不想踩坑,推荐关注公众号——极客之家。
它专注AI前沿技术,
解读最新模型和AI产品,
还会上手实测,
告诉你哪款值得用、适合谁、怎么用。
想跟上AI浪潮、少走弯路,
就搜极客之家。
关注它,一起把AI真正用起来。
最终输出的成果物,包括了开头那个视频:
想试风格化路线的话更简单,直接问它“做个 40 秒讲 RAG 的视频,不要真人,有哪些风格可以选”,它会带着效果图把十二种风格列出来让你挑。
环境依赖要提前装好:
Python 3.9 以上、FFmpeg 带 ffprobe、jq、awk、sed。跑风格化路线还需要 Node.js、rsync、装了 numpy 的 Python,还有一个 MiniMax 的 API key,因为配音和逐字时间轴是从 MiniMax 拿的。
我的看法
我自己看下来,这个项目适合已经在用 Claude Code 或者 Codex 这类 agent、又想批量做讲解视频的人。它省的是流程上的事,配音、画面、字幕、验收这一串不用自己拼了,改稿的代价也小很多,但生成服务该花的钱还是要花,这一点要先有数。
感兴趣的话建议先从风格化路线试起,那条路线花钱最少,跑起来也快。
开源地址:
https://github.com/cclank/lanshu-create-ai-presenter-video