试过 Sora 和剪映 AI 之后,我用这个开源项目把「AI 视频」跑成了真流水线

导读LingtiStudio 是一个 166 star 的开源 AI 视频生产系统:脚本→审核→资产确认→关键帧→配音→片段→组装→剪映草稿。它的价值不在生成质量,而在 8 个可暂停的审核关卡 + 单分镜重跑 + 剪映草稿闭环。这篇讲清楚它跟 Sora / 剪映 AI 一键的差别、5 分钟部署命令,以及适合谁不适合谁。

一句话结论:LingtiStudio 值得内容创作者关注。它对标的不是"AI 一键出片"这类黑盒产品,而是"你能不能把 AI 视频做成流水线"。8 个审核关卡 + 单分镜重跑 + 原生剪映草稿导出,是它区别于 Sora / 剪映 AI 的三条硬骨架。

一、为什么写这篇:AI 视频这件事的两条路

上周我给一个客户做一支 60 秒的讲解视频,试了三种方式:

路径 A:Sora 直生成。 输入一段中英混杂的 prompt,等 2 分钟出结果。开头旁白语气不对,重来。第二版画面漂移,重来。第三版价格差不多够订《华尔街日报》一年了。

路径 B:剪映 AI 一键成片。 上传选题脚本,选模板。产出确实快,但只是"套模板 + 换素材"。想调分镜结构,得整段重来。

路径 C:自己拼。 让 GPT-5 写脚本,MidJourney 生关键帧,MiniMax 配音,Kling 图生视频,最后拖回剪映拼。每一步都能控制,但每一步都是独立工具,接口不匹配、时长对不齐、风格串味。

上周三我在 GitHub 上看到 ruilisi/LingtiStudio(166 star,MIT 协议,中文文档齐全)——它做的不是路径 A 也不是路径 B,是把路径 C 那种"拼装"变成一个整合起来的产品。

这篇讲清楚三件事:它的核心机制、5 分钟怎么跑起来、什么样的人应该关注

LingtiStudio 8 步生产链路

二、机制:8 步生产链路,2 个人工关卡

LingtiStudio 把"从主题到成片"拆成 8 个可暂停的步骤:

  1. 脚本生成 — LLM 直出 + Reflection 双轮审核(借鉴 Agent-S 的 Reflection Agent 结构)
  2. 分镜审核 — 人工暂停,改文案 / 时长 / 顺序 [GATE]
  3. 资产生成 — 角色、场景、道具的参考图,统一风格
  4. 资产确认 — 审核通过后再进入关键帧全量生成 [GATE]
  5. 关键帧生成 — MiniMax Image / Nano Banana / Gemini 3 Pro Image,并行
  6. TTS 配音 — MiniMax Speech,精确时长测量
  7. 视频片段生成 — Kling v3 / Seedance / MiniMax Video,智能路由
  8. FFmpeg 组装 — 字幕 + 转场 + 剪映草稿导出

两个关卡的存在,是这个项目和"一键生成"的根本差别。

modules/llm.py 里的 Reflection 结构直接可以读出来:

# 第一轮:生成初稿
response = await client.chat.completions.create(
    messages=[{"role": "system", "content": SCRIPT_SYSTEM_PROMPT},
              {"role": "user", "content": user_message}],
    temperature=0.7,
)
raw_script = response.choices[0].message.content

# 第二轮:Reflection 检查(借鉴 Agent-S 的 Reflection Agent)
reflection_response = await client.chat.completions.create(
    messages=[{"role": "system", "content": "你是一位严格的视频脚本审核员..."},
              {"role": "user", "content": REFLECTION_PROMPT.format(script=raw_script)}],
    temperature=0.3,
)
final_script_str = reflection_response.choices[0].message.content

这一段之所以重要,是因为它承认了一个事实:LLM 一轮直出的脚本,往往会主题跑偏、结构断裂、开头无钩子。加一轮温度更低的审阅(0.3 vs 0.7)能显著改善。你可以在 Cursor / Claude Code 里手动做,也可以让脚本自动做——LingtiStudio 选了后者。

三、为什么"审核关卡"值钱

用一个具体成本例子:60 秒短视频,8 个分镜。

审核关卡的价值对比

没有审核关卡的一键流程:

  • 脚本 LLM 直出(可能主题跑偏),$0
  • 8 张关键帧全部生成,$0.4
  • 8 段配音全部生成
  • 8 段图生视频,$3.2
  • 成片看完发现开头不对
  • 代价:全流程重跑,再花 $3.6

有审核关卡的分阶段流程:

  • 脚本看完再确认,$0
  • 资产先小图预审,$0.1
  • 关键帧确认后全量,$0.4
  • 配音确认关键帧后并行
  • 视频错了只重跑单段,$0.4
  • 成片剪映草稿可微调,$0 重跑

假设首轮通过率 60%(这是我实测的乐观值),一键流程的期望成本 = $3.6 × (1 + 0.4) ≈ $5.0;分阶段流程的期望成本约 $0.9~$1.5。对于个人创作者,一个月做 10 条视频,就是几十美金的差距。

更重要的是心理成本:一键流程失败要重看一遍成片才发现问题,人工分辨"哪一步坏了"的负担全部落在你身上;分阶段流程每一步交付物具体,出错立刻能定位。

四、剪映草稿导出:AI 做 90%,人做最后 10%

这是我读源码时最惊讶的一段。modules/jianying_draft.py 直接调用 pyJianYingDraft,把每个分镜作为独立片段导入剪映草稿工程,视频 / 配音 / 字幕分离到独立轨道

# 从源码注释里抠出来的产品哲学
"""
v2.0:每个分镜作为独立片段导入,多轨道分离(视频/配音/字幕各独立轨)
用户可在剪映中直接替换单个分镜/配音/字幕,无需重跑全流程
这是"AI 做 90%,人类做最后 10%"的关键闭环
"""

这句话是产品价值观。它不假设 AI 出的东西一次可用——只承诺"帮你到 90%,剩下 10% 你在剪映里改会比重跑更快"。

对比之下:

方案交付物想改一个分镜要做什么
Sora / Runway单条 MP4换 prompt 重生成整段
剪映 AI 一键剪映工程但结构已固化,改一个分镜要重跑整个模板
手工拼一堆散文件你自己拖到剪映,字幕自己对齐
LingtiStudioMP4 + SRT + 剪映草稿(独立轨)在剪映里直接替换单个分镜的视频/配音/字幕

对做讲解号、知识科普、多分镜故事视频的创作者,这个差别不是量的差,是质的差。

五、四种方案的横向对比

四种 AI 视频方案对比

维度拉齐后的结论:

  • Sora / Runway:适合尝鲜 / 单条创意 / 商业素材。不适合内容账号做批量。
  • 剪映 AI 一键:适合完全不懂 AI 的普通人做套模板视频。不适合想控制结构的创作者。
  • 手工 ComfyUI + 各家 API:适合极客。学习曲线高,出错定位难。
  • LingtiStudio:适合有一定 AI 知识、想把 AI 视频做成产线的内容账号 / 讲解号。

LingtiStudio 的关键差异化

  • 交付形态多层(MP4 + SRT + 剪映草稿)
  • 8 处审核 gate,不是黑盒
  • 错了只重跑单分镜
  • API 提供商可换(不绑死一家)

六、5 分钟跑起来:Docker Compose 路径

如果你想快速验证,Docker Compose 是最省心的路径。

git clone https://github.com/ruilisi/LingtiStudio.git
cd LingtiStudio

docker compose up -d --build

打开 http://localhost:3000。第一次会自动弹配置对话框,可以在浏览器里填 API Key(写入 ./configs/config.yaml),不用手工编辑 YAML。

支持的模型清单(v1.1.0 内置):

阶段提供商内置模型
脚本DeepSeekdeepseek-chat, deepseek-reasoner
脚本MiniMaxMiniMax-M2.5, MiniMax-M2.7
脚本Kimi / Zhipu / Gemini / OpenAI / Ollama各家默认
关键帧MiniMax Imageimage-01
关键帧Nano Banana / Geminigemini-3-pro-image-preview
配音MiniMax TTSspeech-2.8-hd, speech-02-hd
视频MiniMax VideoMiniMax-Hailuo-2.3 系列
视频Klingkling-v3
视频Seedancedoubao-seedance-1-5-pro-250528
组装本地 FFmpeg依赖你的 FFmpeg build

智能路由modules/video_gen.py 里,可以直接读出规则:

seedance_keywords = ["talking", "speaking", "dialogue", "lip sync", "多人", "人群"]
kling_keywords = ["action", "running", "fast", "dynamic", "动作", "奔跑", "舞蹈"]
# 对话/口型 → Seedance;动作/运动 → Kling;其他走默认

这套规则不复杂,但很实用——对话戏走 Seedance(口型同步好),动作戏走 Kling(动态感好),明确的规则比让用户自己选省心。

七、CLI 路径:直接从命令行跑

如果你已经熟悉 Python + FFmpeg,CLI 路径可能更快:

# 前置:Python 3.10+ / Node.js 18+ / FFmpeg
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

# 初始化配置
python cli/main.py config --init
# 编辑 configs/config.yaml 填入 API Keys

# 完整生成
python cli/main.py run --topic "AI 改变世界" --style "科技感,蓝紫色调"
python cli/main.py run --topic "西藏旅行" --duration 90 --engine seedance

# 只生成脚本(不调用付费 API,先看结构)
python cli/main.py script --topic "AI 改变世界" --output script.json

# 测试各模块连接
python cli/main.py test --module llm
python cli/main.py test --module image
python cli/main.py test --module tts
python cli/main.py test --module video

我建议第一次跑 script 子命令——不花钱、几秒钟就出 JSON,可以先看看它给你的分镜结构像不像回事,再决定要不要跑完整流程。

LingtiStudio 视频生成工作台

八、三个源码细节看工程判断

细节 1:记忆系统(modules/memory.py

用 SQLite 本地记录用户的风格偏好——visual_stylepacingavg_scene_durationpreferred_transitions 等 8 个维度。跑几条视频之后,脚本生成会自动注入你的风格上下文。

不用 Mem0 云服务,纯本地 SQLite(~/data/memory.db)。这是"本地优先"哲学的体现——不给你增加额外的账号和订阅。

细节 2:Voiceover 说话人前缀清洗(modules/jianying_draft.py

TTS 输出的文本里常有"男:xxx / 女(英语):yyy"这种说话人标记。字幕烧录时如果不清洗,观众能看到"男:“这两个字挂在字幕里。

cleaned = re.sub(r'男[\uff08(][^\uff09)]*[\uff09)]\uff1a|...|男[\uff1a:]|女[\uff1a:]', '', text)

正则处理全角 / 半角括号 + 全角冒号。这种细节没做过就写不出来——只有踩过"字幕里出现「男:」“的坑才会加这个清洗。

细节 3:Kling / Seedance / MiniMax Video 三家路由

绝大多数开源 AI 视频项目要么只支持一家,要么让用户手动选。LingtiStudio 通过关键词打分自动选:

seedance_score = sum(1 for kw in seedance_keywords if kw.lower() in prompt_lower)
kling_score = sum(1 for kw in kling_keywords if kw.lower() in prompt_lower)
if seedance_score > kling_score:
    return "seedance"
elif kling_score > seedance_score:
    return "kling"
else:
    return default

规则简单粗暴,但明确。这是工程判断——不追求算法完美,追求默认合理。用户可以在 UI 里手动 override 单个分镜的引擎。

九、什么样的人应该关注

值得试的四类人:

用户画像为什么合适
B 站 / 抖音 / 视频号讲解类账号需要批量、审核可控、剪映微调闭环
独立开发者做产品 demo 视频想控制品牌一致性,不依赖单一 SaaS
MCN 内部批量做知识科普有多分镜、多角色、需要复用资产
AI 视频工作流研究者想读一个完整的开源实现学思路

不建议用的三类:

用户画像为什么不合适
只做单条爆款、不做批量Sora / Runway 更直接
完全不懂 API Key、不装 Docker门槛还是有,建议直接用剪映 AI
追求"一键出片"的效率党审核关卡本身是它的价值,不是麻烦

判断维度就一句话:你愿不愿意把"审核每一步"当成价值而非负担?愿意就试,不愿意就别。

十、如果你决定试

建议这个顺序,别追求一步到位:

  1. 先用 python cli/main.py script,不花钱看脚本结构像不像。如果 Reflection 后的分镜清单让你觉得"这就是我想拍的”,再往下走。
  2. 第一次跑完整流程用 60 秒 / 8 分镜,不要一上来就拉 3 分钟。60 秒 8 分镜的总成本约 $1,试错代价低。
  3. 强烈建议开审核 gate。别用 --no-review。你的时间成本比省下的几分钟等待时间高得多。
  4. 视频引擎第一次用 Kling,因为它的 API 定价和文档最稳定。等熟悉工作流之后再对比 Seedance / MiniMax Video。
  5. 最后一步一定要在剪映里过一遍。这是这个项目最核心的价值——AI 做 90%,你做 10%。

参考

  • 项目主页:github.com/ruilisi/LingtiStudio
  • 中文文档:README-CN.md(写得比英文版还细)
  • 演示视频:Bilibili BV1NjDrBnECg(作者官方演示)
  • License:MIT
  • 技术栈:FastAPI + Next.js + Ant Design + SQLite + FFmpeg

这个项目的作者 ruilisi 是一家国内工程团队,从项目里的中文注释、B 站演示视频、剪映草稿接入选择来看,很明显定位是面向中文创作者的开源 AI 视频生产系统。166 star 不算爆款,但内容账号运营者读一读源码、跑一跑流程,很可能会觉得"这就是我一直想要的工具形态”。