OpenMontage：首个开源 AI Agent 视频制作系统，一句话生成完整成片
OpenMontage：首个开源 AI Agent 视频制作系统，一句话生成完整成片
你有没有试过用 AI 视频工具生成视频？Sora、Kling、Runway……输入一段提示词，十几秒后得到一段 5-10 秒的动态画面。挺酷，但也就到此为止了。
想要一个 60 秒的完整视频？你得自己写脚本、自己找素材、自己做剪辑、自己配音配乐、自己加字幕。AI 给你的只是一段素材，不是成品。
而今天要介绍的 OpenMontage，直接把整件事翻了个面：你的 AI 编程助手本身就是整个视频制作团队。 从选题研究、脚本撰写、场景规划、资产生成、剪辑合成，到最终渲染出片——全部由 AI Agent 按照专业制作流水线自动完成。
项目地址：https://github.com/calesthio/OpenMontage
它登顶过 GitHub Trending 日榜第一，已经有非常成熟的产出：从皮克斯风格动画短片，到电影级科幻预告片，再到纪录片蒙太奇——一部完整影片的成本最低只要 0.15 美元，甚至零 API Key 也能做。
这不是又一个「AI 视频生成器」
先把概念说清楚。市面上绝大多数 AI 视频工具做的是同一件事：把一段文字变成一段动态画面。它们的输出单位是「clip」（片段），不是「video」（完整影片）。
OpenMontage 做的事情完全不同——它是一个 端到端的视频制作系统，模拟的是一整个制作团队的工作流程：
研究 → 提案 → 脚本 → 场景规划 → 资产生成 → 剪辑 → 合成
你只需要说一句话：
「做一个 60 秒的动画解说视频，讲解神经网络是如何学习的」
然后 Agent 会：
- 研究阶段：自动搜索 YouTube、Reddit、Hacker News、学术资源，收集数据点和受众问题，产出结构化研究简报
- 提案阶段：给出 2-3 个差异化概念，明确工具路径、成本估算、预期效果
- 脚本阶段：撰写带时间戳的旁白脚本，标注语气和重音
- 场景规划：拆解成具体场景，每个场景有类型、描述、时长
- 资产生成：调用图像/视频/音频工具生成所需素材，自动选最优提供商
- 剪辑合成：用 Remotion 或 HyperFrames 渲染成片，自动加字幕、配乐、转场
- 自检输出：ffprobe 验证、帧采样检查、音频分析，通不过就不交付
整个过程中，每一个创意决策点都会停下来等你确认——脚本要审、分镜要审、素材联系表要审。你是制片人，Agent 是执行团队。
Agent-First 架构：没有 Python 编排器
这是 OpenMontage 最反直觉、也最有意思的设计选择：没有中央编排器。
一般的 AI 工作流框架（比如 LangGraph、AutoGen）会用 Python 代码写一个状态机，由代码来调度 LLM。OpenMontage 反过来了——
Python 只提供工具和持久化，所有智能都在 Agent 那里。
具体来说，整个系统由三层构成：
第一层：工具与流水线定义（「有什么」）
tools/— 57 个 Python 工具实现，全部继承自BaseTool基类，声明自己的能力、提供商、运行环境、输入输出 Schema、回退链pipeline_defs/— YAML 格式的流水线清单，定义每个流水线有哪些阶段、每个阶段用什么技能、产出什么产物、是否需要人工审批tools/tool_registry.py— 自动发现所有工具的单例注册表，支持按能力、提供商、可用性查询
第二层：项目技能（「怎么用」）
skills/ 目录下是几百个 Markdown 技能文件：
skills/pipelines/— 每个流水线每个阶段的「导演技能」，告诉 Agent 这个阶段具体该怎么做skills/creative/— 创意技巧、剪辑手法、数据可视化、提示工程skills/core/— FFmpeg、Remotion、色彩分级等核心工具技能skills/meta/— 审阅者技能、检查点协议
第三层：外部技术知识（「技术原理」）
.agents/skills/ 里是通用技术知识包——FFmpeg 怎么用、ElevenLabs API 怎么调、FLUX 模型有什么特性、Remotion 最佳实践……
Agent 工作时的路径是：读流水线清单 → 读阶段导演技能 → 查注册表选工具 → 调用工具 → 用审阅技能自检 → 写检查点 → 提交人工审批。
这种架构的好处是什么？你想加一个新工具，写一个 Python 类就行；你想改制作流程，改 YAML 和 Markdown 就行。 不需要动任何核心编排逻辑，因为根本没有核心编排逻辑。
57 个工具 + 60+ 提供商，自动选最优
OpenMontage 的工具覆盖了视频制作的全链路：
| 类别 | 工具数量 | 代表工具 |
|---|---|---|
| 视频生成 | 18 个 | Kling、Veo、Runway、WAN 2.1、Hunyuan、CogVideo、LTX-Video（本地/云端） |
| 图像生成 | 13 个 | FLUX、Imagen、GPT Image、Recraft、本地 Diffusion、Pexels/Pixabay/Unsplash 素材库 |
| 音频/语音 | 9 个 | ElevenLabs、Google TTS（700+ 声音）、OpenAI TTS、Piper 本地 TTS、Suno 音乐生成 |
| 画面增强 | 5 个 | 超分、去背景、人脸增强/修复、色彩分级 |
| 视频分析 | 5 个 | WhisperX 转录、场景检测、帧采样、CLIP 视频理解 |
| 数字人 | 2 个 | 说话头像、唇形同步 |
| 字幕 | 1 个 | SRT/VTT 自动生成 |
最关键的是 selector（选择器）模式。你要生成一段视频，不用指定用哪家——video_selector 会自动根据 7 个维度给所有可用提供商打分：
- 任务契合度
- 输出质量
- 控制能力
- 可靠性
- 成本效益
- 延迟
- 连续性
然后选最优的那个。某个提供商挂了？自动走回退链。你加了新的 API Key？自动纳入选择范围。
而且每个能力都同时支持 云端 API 和 本地方案——有 GPU 就能跑免费的 WAN、Hunyuan、CogVideo，没 GPU 就调云 API。完全没有供应商锁定。
12 条流水线，覆盖几乎所有视频类型
OpenMontage 不是只有一个「生成视频」按钮。它有 12 条专门化的流水线，每条都是一套完整的制作流程：
- 动画解说（Animated Explainer） — AI 生成的科普/教程视频，研究+旁白+视觉+音乐
- 动画（Animation） — 动态图形、动态排版、动画序列
- 角色动画（Character Animation） — 本地 SVG 绑定角色 + GSAP 时间线 + HyperFrames 渲染
- 电影级（Cinematic） — 预告片、前导片、情绪向剪辑
- 纪录片蒙太奇（Documentary Montage） — 从免费素材库和开放档案中用 CLIP 语义检索真实镜头，剪辑成主题蒙太奇
- 化身代言（Avatar Spokesperson） — 数字人驱动的演讲视频
- 片段工厂（Clip Factory） — 从长素材中批量提取短视频片段
- 混合（Hybrid） — 源素材 + AI 生成辅助视觉
- 播客重制（Podcast Repurpose） — 播客高光片段转视频
- 屏幕演示（Screen Demo） — 软件录屏演示和走查
- 口播（Talking Head） — 真人出镜演讲视频
- 本地化与配音（Localization & Dub） — 字幕、配音、多语言翻译
其中最特别的是纪录片蒙太奇流水线——它不需要任何付费视频生成 API，而是从 Archive.org、NASA、Wikimedia Commons、Pexels、Pixabay 等免费/开放来源建立一个 CLIP 可检索的语料库，然后用语义搜索找到匹配主题的真实动态镜头，再剪辑成一部完整影片。零成本，真素材，不是 Ken Burns 图片推拉。
零 API Key 也能出片
这一点必须单独拿出来说。大多数 AI 视频工具你不配 Key 根本用不了，但 OpenMontage 你 make setup 完就能干活：
| 能力 | 免费方案 |
|---|---|
| 旁白配音 | Piper TTS（本地离线，真人发音） |
| 真实影像素材 | Archive.org + NASA + Wikimedia Commons |
| 库存素材 | Pexels + Unsplash + Pixabay（开发者 Key 免费） |
| 合成引擎 | Remotion（React）+ HyperFrames（HTML/GSAP） |
| 后期制作 | FFmpeg |
| 字幕 | 内置自动生成 + 词级时间轴 |
两条完全免费的出片路径：
- 图像动画路径 — Piper 配音 + AI/库存图像 + Remotion 动画化（缩放、平移、淡入淡出、粒子叠加）
- 真实素材路径 — 纪录片蒙太奇流水线，CLIP 检索 + 真实动态镜头剪辑
想试？装完直接跑 make demo，零配置渲染演示视频。
预算管控和质量关卡
AI 工具有一个老问题——一不小心账单爆炸。OpenMontage 内置了完整的预算治理系统：
预估（estimate）→ 预留（reserve）→ 结算（reconcile）
三种预算模式：
observe— 只记账，不限制warn— 超支警告，继续执行cap— 超预算直接拒绝
默认总预算 10 美元，10% 安全预留，单笔超过 0.5 美元暂停等待审批，第一次使用新的付费工具必须确认。绝无意外账单。
质量方面也有三道关卡：
- 合成前验证 — 交付承诺检查（防止做成 PPT 播放效果）、幻灯片风险检测、渲染器治理
- 渲染后自检 — ffprobe 格式验证、帧采样检查、音频电平分析、字幕完整性检查
- 人工审批门 — 每个创意决策点（脚本、分镜、素材联系表）都可以要求人工确认
通不过？Agent 自己返工，不会把垃圾递到你面前。
Backlot：看得见的制作过程
Agent 在后台干活，你怎么知道它在干嘛？
OpenMontage 有一个叫 Backlot 的可视化看板——一个本地 Web 界面，流水线运行时会自动打开。阶段灯亮起来表示在跑，脚本以剧本页形式呈现，场景卡片在素材生成时会闪烁，每个提供商决策和花了多少钱都在墙上。
它不只是个仪表盘——它是真实的审批门。素材生成会停在场景联系表那一步，显示每组镜头的候选版本、提示词、单素材成本、质量评分，你确认了才往下走。
跑完了还能「重播」——整个制作过程按时间戳回放，可以从头到尾拖进度条看。
上手试试
环境要求：Python 3.10+、FFmpeg、Node.js 18+、一个 AI 编程助手（Claude Code / Cursor / Copilot / Windsurf / Codex 都行）。
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup
然后在你的 AI 助手里说一句：
「做一个 45 秒的动画解说，解释天空为什么是蓝色的」
就完事了。
想加 API Key？编辑 .env，加什么 Key 就自动解锁什么工具，不加也能跑。
适合谁？不适合谁？
适合你用，如果你是：
- 🎬 内容创作者 / 自媒体 — 需要批量产出短视频、解说、科普，不想在剪辑上花时间
- 👨💻 开发者 / 技术博主 — 想给自己的项目做演示视频、产品预告片，但不会剪视频
- 🎓 教育工作者 — 需要快速制作教学视频、课程动画
- 🤖 Agent 爱好者 — 对「指令驱动的 Agent 系统」这种架构感兴趣，想研究或二次开发
- 📊 营销/运营团队 — 需要低成本制作产品宣传片、品牌短片
不建议现在就上，如果你是：
- 🚫 想要一键出 Sora 级电影 — 这是制作系统，不是魔法。最终质量取决于你用的模型和你给的方向
- 🚫 完全不想碰代码 — 你至少需要会用命令行和一个 AI 编程助手
- 🚫 需要专业级影视后期 — 它定位是「AI 驱动的制作流水线」，不是达芬奇和 Premiere 的替代品
总结
OpenMontage 最打动我的不是它能生成视频——而是它代表了一种 新的软件范式：
软件不再是写死功能的代码，而是一组工具 + 一套指令 + 一个 Agent。 智能不在代码里，智能在 Agent 的「阅读能力」和「执行能力」里。
你想加功能？写个工具类就行。你想改流程？改个 Markdown 技能文件就行。你想换模型？加个环境变量就行。系统的边界由 Agent 的能力决定，不由代码的边界决定。
这可能就是 AI 原生软件该有的样子。
项目地址：https://github.com/calesthio/OpenMontage 官网：https://openmontage.video YouTube：@OpenMontage