最新资讯
dev.to 在信任 AI 生成的测试用例前,如何逐条复核 unite.ai Franklin Templeton 构建 AI 研究工作流以揭示风险 techxplore.com AI 助力寻找更优的钛合金 3D 打印工艺参数 engadget.com Perplexity 推出“teammates”日常工作任务 AI agent computerworld.com 别提数据中心:OpenAI 改称“compute campuses” theguardian.com 俄美试图阻止就自主武器制定具有约束力的规则 bloomberg.com Nvidia 加强东南亚芯片追踪以打击走私 thestack.technology 模型路由需求升温,Agent Router 推出开源替代方案 www.youtube.com Google DeepMind 的 Philipp Schmid:AI 同事需要具备的七个要素 unite.ai Cashfree 为 AI Agent 的托管结账加入 WebMCP 工具 dev.to 我们在 DolphinBench 上测试记忆检索:纯关键词搜索暴露了自身回归 dev.to 别再把 Agent 写成 while 循环,把它建模为状态机
多元动态
登录 注册
行业动态 wechat · @极客之家

又一个神级Skill:文案丢进去,AI自动生成数字人播报

原文 我的收藏
未提供

正文

做口播视频的人都知道,写文案其实是最省事的,后面配音、生成画面、对口型、上字幕、剪辑才是花时间的部分,而且中间只要改一句话,后面基本都要跟着动一遍。 lanshu-create-ai-presenter-video 这个开源项目做的事情,就是把后面这一串交给 agent 去跑。 我拿它跑了一下,咱们先看效果。 接下来我们来聊聊这个 Skill,以下是正文。 简介 这个项目目前在 GitHub 上已经拿到 2.7k Star了,它其实不算一个软件,就是个 Skill,说直白点就是一个写得很详细的流程文件,里面把做讲解视频的每一步怎么走、拿什么文件验收、钱在哪一步花,都写清楚了。 Codex、Cursor、WorkBuddy、豆包工作等等这些能读文件能跑命令的 agent 都能加载它。做出来的视频有两种,一种是数字人站在那儿讲的口播视频,另一种是没有真人、用各种画面风格把内容演出来的讲解视频,下面分开说。 功能详情 数字人口播视频 给它一段文案或者一个题目,再给一张人物照片,这张照片你得确认自己有权使用,agent 会把后面的事情都做完:配音、生成数字人视频、对口型、加字幕和关键词动效,最后输出一条完整的片子。 默认出的是 9:16 的竖屏,1080×1920,30 帧,发短视频平台可以直接用,想要横屏的也能出。如果你只给一个题目,它会先帮你写一版文案,大概 45 到 75 秒的长度。 不要真人的话,有十二种画面风格可以选 这条路线里没有数字人,你给的每一句话都会用画面演出来。风格一共十二种,其中九种是画风,三种是讲法,出的片是 16:9 的横屏。 仓库里有个演示我觉得挺直观的,它拿 KV cache 这个技术概念当题目,同一段讲解,用九种画风各做了一遍: 九种画风分别是设计师留白、科技感信号、手帐、纸艺立体书、波普漫画、3D 一镜到底、图纸与注脚、黑板报、黏土小城。 另外三种是讲法,不光是换个画风,讲的方式本身就不一样。推演是在一张画布上把公式和图形一步步推出来;案卷是模拟一个调查现场,在证据板上从一个异常查到结案;小剧场是用生活场景来演,角色先踩进一个误区,然后通过一张账单或者一次排队找到原因。 用起来的过程是这样的: 你把题目给它,选好风格,它先出一版能从头放到尾的初稿,配音、逐字时间轴、字幕、章节条、结尾、复习页这些都有,然后 agent 再一句一句去补每句话对应的画面。如果你拿不定主意用哪种画风,可以让它九种各出一版草稿,草稿不用额外花钱,看完再挑。 配音定好之后才动画面 这个项目有个设计我觉得挺关键的,就是先把配音完全定下来,之后才去做画面。配音定了之后,整条视频的时间就照这份音频来对,人物动作、字幕、剪辑点全都跟着它走。 这么安排有用的地方在于,改文案的时候只要重新录配音,画面会跟着新的音频重新对齐,不需要把原来的画面整段重新生成一遍。 做过数字人视频的对口型漂移应该都有体会,这个安排起码能让口型和字幕始终对着同一份音频。 流程分八个阶段,每步都要有实际产物 它把做视频这件事拆成了八个阶段,从建任务开始,到文案锁定、音频锁定,再到渲染和最后的验收。每个阶段要往下走,磁盘上必须已经有对应的文件,状态是用脚本算出来的,脚本看你目录里实际有什么文件,没有产物就进不了下一步。 出片之前还有一个验收环节,它会把母版和分享版完整解码检查一遍,响度也要在负 16 LUFS 上下 0.5 的范围里,这些都通过了,片子才会交付给你。 涉及付费的步骤,会先跟你报账 这个项目很多环节是要花钱调生成服务的,它的做法是,正式生成之前先用低成本的方式出一个试片,试片你认可了再花整段的钱。 第一次发起付费调用之前,agent 会先把账报给你,包括要上传哪些东西、生成多少秒、已知的价格、重试的上限是多少。远程任务中途断了,可以用任务 ID 接着恢复,不会因为重复提交多扣一次钱。如果连续三个付费生成的结果都不合格,流程会停下来,把失败的情况汇总给你,让你决定怎么办,不会自己一直重试下去。 照片和声音都有授权要求 用人物照片做数字人之前,要先确认照片你有使用权,照片里的人必须是成年人。声音克隆也必须是拿到明确授权才行,它不会根据一张照片去给你配一个声音。 另外仓库本身不存任何密钥和用户素材,每次任务实际用了哪家服务商、什么模型、什么参数,都会记录在任务文件里。 哪些地方要花钱 Skill 本身是免费开源的,花的钱都在生成服务上。数字人路线需要配音、数字人视频、口型同步这几样能力,可以用云端的 API,也可以用本地模型,它不绑定具体哪一家,跑的时候看哪项能力能用就用哪项。 风格化路线唯一要花钱的是配音,它是按行生成的,一行一句,生成过的有缓存,后面只改某一句的话,只需要重新生成那一句。如果你自己把配音录好给它,风格化路线就完全不用花钱了。 当然,也可以用模型本身的配音能力,这个配音效果就取决于模型语音能力了。 快速上手 我装的时候就是一句 git clone,把仓库克隆到 agent 的 skills 目录里,比如 Claude Code 是 ~/.claude/skills/ 下面,Codex 是 ~/.codex/skills/ 下面,目录名保持 lanshu-create-ai-presenter-video 不要改,它要求目录名和 skill 名一致。 装好以后正常聊天就行,我用下面这张我自己生成的人物照片和这段30s的口播文案,试试效果。 AI产品一天一个样, 哪个真好用,哪个只是噱头? 不想踩坑,推荐关注公众号——极客之家。 它专注AI前沿技术, 解读最新模型和AI产品, 还会上手实测, 告诉你哪款值得用、适合谁、怎么用。 想跟上AI浪潮、少走弯路, 就搜极客之家。 关注它,一起把AI真正用起来。 最终输出的成果物,包括了开头那个视频: 想试风格化路线的话更简单,直接问它“做个 40 秒讲 RAG 的视频,不要真人,有哪些风格可以选”,它会带着效果图把十二种风格列出来让你挑。 环境依赖要提前装好: Python 3.9 以上、FFmpeg 带 ffprobe、jq、awk、sed。跑风格化路线还需要 Node.js、rsync、装了 numpy 的 Python,还有一个 MiniMax 的 API key,因为配音和逐字时间轴是从 MiniMax 拿的。 我的看法 我自己看下来,这个项目适合已经在用 Claude Code 或者 Codex 这类 agent、又想批量做讲解视频的人。它省的是流程上的事,配音、画面、字幕、验收这一串不用自己拼了,改稿的代价也小很多,但生成服务该花的钱还是要花,这一点要先有数。 感兴趣的话建议先从风格化路线试起,那条路线花钱最少,跑起来也快。 开源地址: https://github.com/cclank/lanshu-create-ai-presenter-video

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容