jackssybin 的个人博客

TL;DR：Voice-Pro 是一个一站式开源AI语音处理工具，支持YouTube视频下载、语音分离、语音识别、多语言翻译、零声语音克隆和文字转语音，完全免费，一键本地部署，替代付费的ElevenLabs等服务，适合内容创作者快速处理多语言视频内容。

如果你是内容创作者，经常需要处理YouTube视频，做字幕翻译、配音克隆，那今天这个开源项目一定会让你惊喜。

项目简介

Voice-Pro 是一个获得 GitHub 12.7k star的开源项目，由韩国开发者 ABUS 开发并开源，它把多个优秀AI语音工具整合到一个WebUI中，实现了一站式语音处理：

• YouTube视频下载和音频提取 — 一键下载YouTube视频，提取音频
• 语音分离 — 使用 Demucs 分离人声和伴奏
• 语音识别（ASR） — Whisper、Faster-Whisper、Whisper-Timestamped，支持100+语言
• 多语言翻译 — 支持100+语言，默认免费使用Deep-Translator，可配置Azure Translator
• 文字转语音（TTS） — Edge-TTS免费，支持E2-TTS、F5-TTS、CosyVoice零声克隆，还有kokoro
• WebUI界面友好 — Gradio 6打造，操作简单，各个功能分标签页清晰

核心功能体验

1. Dubbing Studio：一站式视频翻译配音

Dubbing Studio是Voice-Pro最核心的功能，把整个流程整合在一起：

1. 输入YouTube视频链接 → 自动下载视频和音频
2. 语音分离 → 提取人声
3. 语音识别 → 生成原文字幕
4. 翻译 → 翻译成目标语言
5. TTS → 生成目标语言配音
6. 输出音频/视频文件

整个流程你只需要点几次按钮，剩下的都交给AI处理。输出支持WAV、FLAC、MP3，也可以直接导出带字幕的视频。

2. 零声语音克隆

Voice-Pro集成了目前最优秀的几个零声克隆模型：F5-TTS、E2-TTS、CosyVoice，只需要提供一段参考音频，就能克隆出对应的声音，然后用这个声音生成任意文字的语音。

它甚至还预制了很多知名公众人物的参考语音，比如：

• 英文：Elon Musk、Joe Rogan、Andrew Huberman等
• 中文：迪丽热巴、蔡依林、杨幂、赵丽颖等
• 韩语：BTS、IU等众多明星

3. 实时语音翻译

Translate标签页支持实时语音识别和翻译，可以自定义音频输入，适合会议、直播等场景的实时转写翻译。

对比ElevenLabs等付费方案

Voice-Pro对比其他方案最大的优势就是一站式整合，你不需要自己去一个个找工具、配环境，整个流程一键搞定，对于创作者来说节省了大量时间。

安装和使用

系统要求

• 系统：Windows 10/11（推荐），Linux/Mac也支持（Apple Silicon）
• GPU：NVIDIA显卡，驱动版本≥570，支持RTX 50系列
• 显存：至少4GB，推荐8GB以上
• 存储：至少20GB空闲空间
• 需要联网下载模型

安装步骤（Windows）

1. 克隆或下载项目源码：

git clone https://github.com/abus-aikorea/voice-pro.git
cd voice-pro

2. （可选）运行 configure.bat：

   • 需要管理员权限，会帮你配置git和ffmpeg
   • 没有管理员权限也可以跳过，start.bat会自动下载便携版ffmpeg

3. 运行 start.bat：

   • 第一次运行会自动下载uv、Python 3.12和所有依赖
   • 然后下载AI模型，大约10GB，这一步是最耗时的
   • 完成后自动启动WebUI，浏览器打开访问即可

安装步骤（Linux/Mac）

和Windows类似，使用shell脚本：

git clone https://github.com/abus-aikorea/voice-pro.git
cd voice-pro
chmod +x configure.sh start.sh
# ./configure.sh （可选，需要管理员）
./start.sh

常见问题解决

• 如果启动出错，删除 installer_files 文件夹，重新运行 start.bat 即可，模型会保留不会重新下载
• 如果是网络问题导致模型下载中断，重新启动会自动续传
• CUDA不需要单独安装，PyTorch已经自带CUDA运行时

高级配置：使用Azure服务

默认情况下Voice-Pro使用免费服务：Deep-Translator（Google免费接口）和Edge-TTS，如果你需要更稳定的服务，可以配置Azure密钥：

1. 复制 .env.example 为 .env
2. 在 .env 中填入你的Azure密钥：

# Azure Speech Service (TTS)
AZURE_SPEECH_KEY=your_azure_speech_key_here
AZURE_SPEECH_REGION=eastus
# Azure Translator Service
AZURE_TRANSLATOR_KEY=your_azure_translator_key_here
AZURE_TRANSLATOR_ENDPOINT=https://your-translator-resource.cognitiveservices.azure.com/
AZURE_TRANSLATOR_REGION=eastus

3. 重启Voice-Pro。Valid keys are detected automatically at startup — translation switches to Azure Translator and the first Speech Generation tab becomes Azure-TTS.

When is this worth setting up?

• 🏢 Corporate / restricted networks: security appliances often rate-limit or block the free translate.google.com endpoint, which slows down or fails long subtitle translations. Voice-Pro retries with backoff and keeps the original text for failed lines (you will see a warning with the failure count), but Azure Translator avoids the problem entirely.
• 🗣️ Higher-quality/consistent TTS voices and higher rate limits.
• Do NOT commit .env to version control — it contains your private keys.

总结：谁适合用Voice-Pro？

✅ 适合使用：

• 内容创作者，需要批量翻译YouTube视频，生成配音
• 开发者，想要本地部署AI语音工具，保护隐私
• 个人用户，不想为ElevenLabs等付费服务每月掏钱
• 需要多语言语音处理，支持100+语言

❌ 不适合使用：

• 没有NVIDIA显卡的用户，CPU运行速度很慢体验不好
• 企业生产环境需要SLA支持，这个项目已经停止维护
• 需要非常专业的商用级音质，对音色要求极高

总的来说，Voice-Pro是目前开源生态里最完整的一站式AI语音处理解决方案，对于个人创作者来说完全够用，完全可以替代付费服务，节省成本。

项目地址

GitHub: https://github.com/abus-aikorea/voice-pro

Star数量：⭐ 12.7k+

License：LGPL，完全免费开源，可以自由使用和修改。