最新资讯
www.infoq.com Yelp 为 AI Assistant 融合原生与服务器驱动 UI computerworld.com Box 发布 Architect:用自然语言构建业务流程工作流 the-decoder.com METR 称 Anthropic 或已在 7 月越过自身 AI 加速预警阈值 towardsdatascience.com 用 Ollama 和 Python 构建你的第一个多工具 AI Agent the-decoder.com Thinking Machines 的 Inkling 2 Small 称霸西方开放权重模型 dev.to 为 CI/CD 构建 AI 质量门禁 dev.to Kakao 发布面向 AI Agent 的决策模型 Kanana-2-v-decide computerworld.com Microsoft 对 Copilot Chat 企业用户扩大未公开的使用限制 pub.towardsai.net Google 发布 Gemini 4 Carbon:主打网络安全能力的前沿模型 gradientflow.com METR 研究:AI 正在加速构建 AI 的团队本身 www.infoq.com GitLab 19.5 将 Agentic 开发纳入 DevOps 平台的治理体系 aiacceleratorinstitute.com 研究:AI Agent 的复杂流程编排可能反而是问题所在
多元动态
登录 注册
行业动态 wechat · @极客之家

又一个神级Skill:字幕丢进去,AI自动生成手绘动画视频

原文 我的收藏
未提供

正文

最近 GitHub 上刷到一个项目,srt-whiteboard-animation,涨得挺快,我去看的时候已经 3.8k Star 了。 你把字幕文件丢给它,它就能生成白板手绘动画视频。就是短视频里常见的那种,一只手握着笔在纸上边画边讲,旁白说到哪,画就画到哪。这种视频自己做一条挺麻烦的,得画图、对时间轴、再做动效。 这个项目把这几件事都包下来了,我写篇东西说说它怎么用。 这是个什么项目 先放张动图,作者自己做的演示,场景是猴子山抢香蕉: 旁白说到小猴,小猴就出场,说到大猴抢香蕉,大猴也出来了,最后连围观的小朋友都画上了。 这项目没界面,不是点开就用的软件,它是个 AI Skill,装给 Claude Code、Codex 这类助手用。说得直白点,就是一套写好的流程规范加几个 Python 脚本,装完以后我们说一句话,它就开始干活了。 干活的路子大概是这样:先读字幕,按内容拆成几幕,然后画线稿,再按字幕的顺序一块一块画出来,先勾线,后上色。因为画面是跟着字幕走的,声音和画面本来就是对齐的,不用做完视频再回头对时间轴。 渲染用的底图是这种线稿: 项目是 MIT 协议,商用也没问题。 它能做什么 字幕丢进去,它会先建议拆成几幕,一幕 25 到 35 秒,每幕讲清楚一个意思。拆完不是直接开干,会先把分镜策略给我们看,我们确认了才往下走。 画的时候,每个元素的出场顺序是按字幕来的,字幕说到谁,谁先出来,跟它在画面里站哪没关系。笔迹是连续的,画完的部分会一直留在画面上。 中间还有个预览环节。项目自带一个 preview.html,浏览器直接打开就能用,不用注册,也不用装什么服务。每个元素画在什么位置、什么时候出场、对应哪句字幕,都能在上面调,调完保存。这一步不用碰代码。 每步都得你点头,它才往下走。分镜先确认,再画线稿;线稿过了,再做标注;标注没问题才渲染。哪步不满意,就停哪步改。我自己用下来,这个设计省了不少返工。 最后每幕单独渲染成 MP4,都满意了再合并成一条完整的。 风格它也定好了: 暖米黄纸底,深灰素描线,红橙蓝只点一点,画面不放字和标签。 做出来挺干净的。 快速上手 流程大概是这样,想跟着做的话照着来就行。先把项目克隆到本地,第一次用跑一下环境准备脚本,它会建一个独立的 Python 环境: python scripts/prepare_env.py --check python scripts/prepare_env.py 跑完会输出一个 ENV_PY 路径,记下来,后面渲染都用它。 然后解析字幕,让它给出分镜建议: python scripts/parse_srt.py 你的字幕.srt --target-sec 30 --min-sec 25 --max-sec 35 分镜确认之后,线稿也不用我们自己画,流程里会让 AI 按统一风格生成,满意了再往下走。后面渲染命令里那张图片,就是这么来的。 确认完之后,打开 assets 目录下的 preview.html,用「打开文件夹」载入场景目录,就能在浏览器里调区域、顺序和时间了。 确认好了就渲染。单幕渲染用这条: scripts/render_stream_whiteboard.py 图片.png 标注.json 输出.mp4 assets/drawing-hand.png --ink-path grid --color-fill contour-wipe 多幕的话,等各幕都满意了再合并: scripts/merge_scenes.py --inputs 幕1.mp4 幕2.mp4 幕3.mp4 --output final.mp4 渲染出来的成片就是这种效果: 不想碰这些命令的话,也可以直接把它装成 Skill,让 AI 助手自己跑这套流程: 来看看效果 首先我自己简单写了一下 AI 发展简史,让 Codex 使用这个 Skill 去生成白板手绘动画。 第一步,它解析字幕,给出了分镜建议: 我直接点确认,不对它做出的分镜修改,随后它完成第二步,制作了两张线稿图: 继续确认,开启第三步,结合字幕和实际图像内容创建像素级标注 JSON: 我看了一下,内容标注没问题,直接回复“标注通过”。开启第四步,生成分区与方向检查图。 检查结果我直接通过。开启第五步,自动在预览台调整区域、叙事顺序、时序和字幕关联。 回复“最终标注通过”。开启第六步,逐幕渲染 MP4。 两段白板手绘动画已渲染完成,查了一下没问题,最后一步,回复“成片通过”,形成最终成果物。 完工,效果展示: 最后说两句 做知识讲解、故事口播、课程字幕、短视频文案的,都可以试试。手里有现成字幕文件的最省事,字幕丢进去就能出视频,也就跑几个脚本的事。 有一点要说清楚,它现在更适合短内容,一幕几十秒那种。想做长视频也能做,就是得多幕去拼,工作量会跟着上去。 我走完一遍,没遇到啥折腾人的地方。手绘白板不新鲜,可把字幕、分镜、笔迹串成一条流水线的开源项目,我真是头回见。 开源地址 https://github.com/geeklee/srt-whiteboard-animation

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容